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摘 要 探究 不 同心 智 活 动 下 的 神经 表征 差异 ， 是 认 知 神经 科学 关注 的 核心 问题 之 一 
主要 关注 组 平均 后 的 神经 响应 水 平 ， 这 要 求 在 关注 的 时 间 进 程 上 ， 各 
以 及 地 形 图 分 布 


的 脑 电 / 脑 磁 分 析 方 法 
个 被 试 在 相同 刺激 条 件 下 事件 相关 电位 /事件 相关 磁场 的 振幅 大 小 和 方向 、 
致 性 。 近 些 年 来 , 研究 者 们 将 功能 性 磁 共振 成 像 研究 中 常用 
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康 与 认 知 科学 重点 实验 室 ， 


和 极 性 均 要 有 较 高 的 一 
技术 一 一 机 器 学 习 中 的 分 类 算法 ( 即 基 于 分 类 的 解码 ) 和 表征 相似 性 分 析 一 一 引入 到 了 脑 电 / 


脑 磁 数据 分 析 中 。 
平均 分 析 的 缺点 ， 
进程 上 如 何 对 特定 的 ? 
学 原理 来 抽 提 个 体 间 一 
模 态 、 路 群体 比较 不 同 认 知 过 程 中 的 表征 差异 提供 了 更 多 新 颖 的 途径 。 我 们 首先 
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思路。 两 种 技术 基于 不 同 的 方法 
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方法 的 应 用 场景 进行 了 梳理 ,并 在 最 后 对 未 来 可 供 研究 的 方向 提出 了 


析 。 自 机 器 学 习 中 的 分 类 算法 ( 即 基于 分 类 的 解码 , classification-based decoding, 简称 解码 分 


性 地 引入 到 功能 性 磁 共 振 成 像 (functional magnetic resonance imaging， 简 称 fMRD 数 


据 分 析 之 中 ， 人 们 能 够 更 好 地 识别 与 分 类 特定 大 脑 认 知 加 工 活 动 对 应 的 神经 表征 (Cox & 


Savoy, 2003; Kamitani & Tong, 2005; Norman et al., 2006)。 除 了 解码 分 析 外 ， 一 种 称 作 表征 相 


似 性 分 析 (representation similarity analysis， 简 称 RSA) 的 方法 也 被 广泛 应 用 于 fMRI 研究 中 ， 
它 可 以 评估 不 同 神经 表征 之 间 的 相似 性 关系 ， 具 有 跨 任 务 、 跨 模 态 、 跨 群体 等 优点 
(Kriegeskorte etal., 2008a)。 两 种 新 方法 的 引入 ， 让 研究 者 在 大 脑 的 空间 结构 上 对 神经 表征 信 


息 的 理解 更 加 深刻 。 
解码 分 析 与 RSA 近 


(magnetoencephalography, 


年 来 也 被 逐渐 用 于 脑 电 (electroencephalography, 简称 EEG) 和 脑 磁 


简称 MEG) 数 据 分 析 中 (Carlson et al., 2011, 2013; Cichy et al., 2014, 


2016a, 2016b, 2017a, 2017b; Wardle et al., 2016; Teichmann et al., 2018; Dobs et al., 2019; Giari 


et al., 2020; Kong et al., 2020; Xie et al., 2020)。fMRI 由 于 其 高 空间 分 辨 率 ， 相 应 的 研究 更 多 


关注 的 是 大 脑 空间 结构 上 
特点 使 得 相应 的 研究 更 适 


的 认 知 加 工 机 制 ， 与 fMRI 不 同 的 是 ，EEG/MEG 高 时 间 分 辩 率 的 
合 从 时 间 进 程 上 探索 大 脑 的 认 知 加 工 机 制 。 将 解码 分 析 与 RSA 引 


O 


入 EEG/MEG 研究 中 ， 既 可 以 在 一 定 程度 上 克服 传统 EEG/MEG 数据 分 析 中 存在 的 不 足 ， 还 


能 够 从 不 同 的 角度 去 解释 
本 文 将 从 解码 分 析 和 


大 脑 对 神经 表征 信息 的 动态 编码 情 ; 
RSA 这 两 种 新 方法 与 传统 EEG/MEG 分 析 的 对 比 展开 介绍 ， 简 要 


= 


或 


阐明 两 种 新 方法 的 基本 原 
AX 


Mg 


时 与 优势 ; 之 后 将 对 上 述 方法 的 具体 实现 进行 阐述 , 并 通过 梳理 前 


SI 


解码 分 析 和 RSA 开展 的 EEG/MEG 研究 ， 讨 论 两 种 技术 在 认 知 神经 科学 领域 的 实际 


中 用 场景 ; 对 于 这 两 种 技术 在 未 来 的 EEG/MEG 研究 中 可 能 的 一 些 应 用 方向 , 在 文 末 提出 了 


一 些 我 们 的 见解 。 


2 ”原理 总 论 


随 着 认 知 神经 科学 有 


究 的 不 断 深入 ， 传 统 的 EEG 和 MEG 分 析 方 法 已 无 法 满足 研究 人 


员 的 全 部 需求 ， 人 们 需要 寻找 更 加 精细 的 方法 来 识别 与 分 析 大 脑 活动 模式 。EEG 和 MEG H 


于 高 时 间 分 辩 率 、 非 侵入 式 等 特点 被 广泛 应 用 于 各 类 大 脑 认 知 加 工 的 研究 , 并 形成 了 一 套 成 
熟 的 数据 处 理 流程 。 现 有 的 事件 相关 EEG/MEG 研究 需要 计算 每 个 被 试 欠 加 平均 后 的 事件 相 


关 电 位 (event-related potentials， 简 称 ERPs) 或 事件 相关 磁场 (event-related magnetic fields, ffi 


BK ERMFs)， 并 在 此 基础 J 


的 统计 分 析 。 根 据 不 同时 刻 点 的 ERPs/ERMFs 特征 值 ， 可 以 随时 间 进 程 绘制 振幅 和 地 形 图 


上 求 出 不 同 条 件 之 间 的 差异 波 或 者 地 形 图 ， 之 后 再 进行 群体 水 平 上 


的 变化 情况 来 进行 神经 表征 时 空 模式 分 析 (Ding et al., 2014; Qu et al., 2014, 2017)。 但 不 论 是 


迭 加 平均 后 的 ERPs/ERMFs 还 是 经 过 计算 得 到 的 差异 波 和 地 形 图 均 具 有 极 性 ， 为 了 尽 可 能 
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地 使 潜在 的 效应 更 加 明显 ， 传 统 的 EEG/MEG 研究 要 求 所 有 被 试 在 研究 者 关注 的 时 间 进 程 
上 ， 诱 发 出 的 ERPs/ERMFs 振幅 大 小 和 方向 以 及 地 形 图 分 布 和 极 性 等 均 要 在 不 同 被 试 之 间 
具有 较 高 的 一 致 性 , 在 一 致 性 较 差 的 情况 下 对 不 同 被 试 的 神经 响应 水 平 进行 平均 后 , 得 到 的 
结果 可 能 难以 做 出 合理 的 解释 (图 1)。 

A 被 试 1 被 试 2 平均 结果 


一 一 刺激 类 型 A 


一 一 刺激 类 型 A 4 
3 一 一 刺激 类 型 B 
2 
1 


一 刺激 类型 B| 2 
4 


2 时 间 Cms) 2 时 间 Cms) 2 时 间 Cms) 


被 试 1 被 试 2 平均 结 


1 传统 ERP 研究 示例 。(A) 假 设 在 某 一 特定 通道 上 对 不 同 条 件 诱发 的 ERPs 成 分 进行 分 析 ， 能 够 观测 到 不 同 的 被 试 在 不 同 


刺激 条 件 间 均 存在 明显 的 ERPs 差异 ， 这 提示 了 两 种 刺激 可 能 具有 不 同 的 神经 表征 ， 使 得 每 名 被 试 都 能 区 分 这 两 种 刺激 。 由 于 
受到 个 体 差异 的 影响 ， 不 同 被 试 在 刺激 条 件 间 的 ERPs 差异 方向 可 能 是 不 一 致 的 ， 这 将 导致 在 对 所 有 被 试 的 数据 进行 组 平均 处 
理 后 ， 可 能 会 使 得 研究 者 不 能 从 组 平均 ERPs 上 区 分 两 种 刺激 ， 从 而 做 出 两 种 刺激 具有 相似 神经 表征 的 错误 推论 。(B) 由 于 被 试 
间 存 在 着 个 体 差异 ， 假 设 对 于 相同 的 刺激 条 件 ， 在 某 一 时 刻下 不 同 的 被 试 均 能 诱发 出 较为 明显 的 大 脑 活动 模式 ， 但 在 不 同 的 通 
道上 激活 水 平 的 极 性 不 同 ， 可 能 使 得 不 同 被 试 的 地 形 图 映射 情况 差别 很 大 ， 导 致 人 们 同样 可 能 对 所 有 被 试 进行 组 平均 后 得 到 的 


结果 做 出 错误 的 解释 。 


相 比 于 传统 的 EEG/MEG 分 析 方 法 ， 解 码 分 析 和 RSA 并 不 需要 不 同 被 试 之 间 的 
ERPs/ERMFs 振幅 等 信息 具有 较 高 的 一 致 性 , 它们 更 多 地 要 求 事件 相关 的 EEG/MEG 信号 在 
每 个 被 试 内 部 具有 较 高 的 一 致 性 ( 即 存在 相对 稳定 的 加 工 机 制 )。 以 不 同 的 刺激 类 型 为 例 ， 解 
码 分 析 和 RSA 的 基本 假设 是 : 当 大 脑 对 特定 刺激 信息 进行 了 有 效 编码 时 都 会 产生 对 应 的 活 
动 模式 ， 如 图 2A 所 示 ， 每 个 试 次 记录 到 的 大 脑 活动 模式 可 以 投射 到 由 所 有 通道 (记录 EEG 
信号 的 电极 、MEG 信号 的 磁力 计 和 平面 梯度 计 ) 共 同 构 成 的 神经 表征 空间 中 (为 便于 展示 此 
处 将 其 简化 为 三 个 通道 构成 的 三 维 空间 ), 并 得 到 其 对 应 的 响应 向 量 ( 即 神经 表征 空间 中 的 点 )， 
该 响应 向 量 的 特征 坐标 由 各 个 通道 包含 的 幅 值 信息 转换 而 来 (Haxby et al., 2014)。 每 种 类 型 
的 刺激 信息 在 神经 表征 空间 中 的 分 布 是 不 同 的 , 同一 刺激 条 件 下 的 大 脑 活动 模式 将 被 投射 到 
神经 表征 空间 中 的 某 个 特定 区 域 ， 具 体 表现 为 相同 类 型 的 刺激 信息 在 空间 分 布 上 更 加 集中 ， 
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且 集 中 于 某 个 区 域内 所 有 的 响应 向 量 都 表征 了 同一 类 信息 , 例如 刺激 类 型 、 认 知 状态 等 (Cox 


& Savoy, 2003; Kamitani & Tong, 2005; Grootswagers et al., 2017; Hebart & Baker, 2018; Carlson 


etal.,2019)。 而 当 大 脑 未 对 特定 刺激 信息 


进行 编码 时 ， 如 


神经 表征 
A 


空间 上 的 分 布 则 是 随机 不 可 分 的 。 


© 刺激 类 型 
@ 刺激 类 型 


© 刺激 类 型 A 
@ 刺激 类 型 B 


图 2B 所 示 ， 其 对 应 的 响应 向 量 在 


© ”随机 活动 


@ 刺激 类 型 A 
@ 刺激 类 型 B 


距离 A1A2 
mh, 


A2 ”以 不 同 的 刺激 类 型 为 例 ，(A) 不 同 刺激 信息 的 神经 表征 不 同 ， 具 体 在 神经 表征 空间 中 会 表现 出 同类 刺激 信息 相聚 、 异 类 刺 


激 信息 相 离 的 特点 。(B) 当 大 脑 未 对 特定 刺激 信 4 


息 进行 编码 的 情况 下 ， 神 经 表征 将 处 于 随机 不 可 分 的 状态 。 (C) 解 码 分 析 可 以 使 


用 决策 边界 对 不 同类 型 的 刺激 进行 区 分 。(D)RSA 通过 计算 不 同 刺激 之 间 的 距离 来 说 明 它们 之 间 的 相似 程度 。 
当 在 被 试 内 部 不 同 刺激 条 件 对 应 的 神经 表征 之 间 在 关注 的 时 间 进 程 上 存在 着 稳定 的 差 
异 (本 文 称 之 为 绝对 差异 ) 时 ， 解 码 分 析 可 以 在 神经 表征 空间 中 按照 一 定 的 规则 找到 一 个 能 将 


不 同类 型 响应 向 量 


刺激 类 型 信 | 


时 分 离开 的 边界 ( 即 图 2C 中 所 示 的 决策 边界 , decision boundary)， 使 得 各 种 
息 所 对 应 的 大 脑 活动 模式 可 以 最 优 地 区 分 开 , 从 而 实现 对 个 体 不 同 的 认 知 状态 进 


J 分 离 (Haxby et al., 2014; Grootswagers et al., 2017; Kriegeskorte et al., 2019; Weaverdyck et al., 
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2020)。 解 码 正确 率 是 衡量 决策 边界 区 分 绝对 差异 的 效果 的 指标 ， 如 果 得 到 的 解码 正确 率 越 
高 ,理论 上 该 决策 边界 就 越 能 够 区 分 不 同 的 认 知 状态 。 无论 不 同 被 试 诱发 出 的 ERPs/ERMFs 
振幅 大 小 和 方向 、 地 形 图 分 布 情况 是 否 一 致 , 我 们 都 可 以 借助 解码 分 析 来 考察 每 名 被 试 区 分 
不 同 刺激 条 件 的 神经 表征 绝对 差异 (由 解码 正确 率 表示 ); 将 不 同 被 试 的 解码 正确 率 进 行 平均 
和 统计 检验 分 析 ， 以 说 明 不 同 刺 激 条 件 之 间 确 实 存在 着 差异 (图 3)。 


x 


被 试 1 被 试 2 平均 结果 
90 一 一 刺激 类 型 A vs 刺激 类 型 B 90 一 一 刺激 类 型 A vs 刺激 类 型 B 90 一 一 刺激 类 型 A vs 刺激 类 型 B 
一 一 随机 水 平 = 一 一 随机 水 平 a 一 一 随机 水 平 
x 80 
Nt 70 
= 
H 60 
lel 
= 50 
40 40 +S 40 +S 
0 100 200 300 400 500 600 0 100 200 300 400 500 600 0 100 200 300 400 500 600 
时 间 Gms) 时 间 Gms) 时 间 (ms) 


3 ”以 基于 时 域 ERP 信号 进行 的 解码 分 析 ( 可 以 对 特定 时 间 点 的 单个 通道 或 多 个 通道 数据 进行 解码 ) 为 例 ， 在 每 个 时 间 点 上 对 


ERPs/ERMFs 数据 进行 解码 , 能 够 得 到 一 条 随 着 时 间 变 化 的 解码 正确 率 曲线 , 从 而 可 以 在 时 间 进 程 上 探究 神经 表征 信息 的 动态 编 


码 情况 。 由 于 解码 分 析 只 关注 不 同 的 刺激 条 件 之 间 是 否 存 在 着 差异 , 而 不 关心 这 个 差异 的 振幅 极 性 和 地 形 分 布 等 具体 信息 , 相 比 


于 图 1A 的 情况 ， 此 处 不 仅 保留 了 每 名 被 试 对 不 同 刺激 条 件 的 区 分 情况 ， 且 他 们 在 时 程 上 的 一 致 性 可 以 在 平均 结果 中 保留 。 


不 同 于 解码 分 析 寻 找 能 够 最 优 分 离 各 种 类 型 神经 表征 的 决策 边界 的 思路 ，RSA 致力 于 
衡量 不 同 神经 表征 之 间 的 差异 大 小 。 由 于 同一 类 别 的 信息 彼此 之 间 的 相似 程度 更 高 , 在 神经 
表征 空间 中 表现 为 对 应 的 响应 向 量 间 的 距离 更 近 , 不 同 刺激 类 型 的 信息 则 由 于 相似 程度 低 而 
表现 为 响应 向 量 间 的 距离 更 远 ， 所 以 RSA 可 以 根据 每 个 响应 向 量 在 神经 表征 空间 内 的 特征 
坐标 来 计算 响应 向 量 间 的 成 对 距离 , 使 得 不 同 刺激 条 件 间 神经 表征 的 差异 情况 可 以 用 对 应 的 
响应 向 量 间距 离 来 进行 衡量 (图 2D, Kriegeskorte et al., 2008a, 2013; Haxby et al., 2014; Popal 
et al., 2019; Weaverdyck et al., 2020)。 这 种 根据 不 同 脑 活动 量化 得 到 的 标准 化 差异 被 RSA 记 
录 在 表征 差异 矩阵 (representational dissimilarity matrix, 简称 RDM) 中 ， 它 反映 了 由 不 同 刺激 
条 件 诱发 的 大 脑 活动 模式 间 相 似 程度 。 当 不 同 刺激 条 件 的 神经 表征 之 间 存 在 差异 且 这 种 差异 
稳定 存在 于 被 试 内 部 时 , 此 时 RSA 只 关心 在 个 体 水 平 上 不 同 刺激 诱发 的 脑 活动 是 否 有 差异 、 
差异 程度 有 和 多大， 而 不 关心 脑 活动 之 间 的 差异 体现 在 哪些 具体 测量 特征 值 上 (如 
ERPs/ERMFs 振幅 大 小 和 方向 、 地 形 图 分 布 情况 等 )。 对 于 一 组 刺激 而 言 ,它们 的 具体 测量 特 
征 值 在 不 同 被 试 之 间 可 能 会 有 很 大 的 不 同 , 但 是 当 每 个 被 试 内 部 对 这 组 刺激 内 不 同 刺激 条 件 
的 加 工 存在 着 稳定 的 规律 时 , 那么 根据 不 同 被 试 的 EEG/MEG 活动 计算 得 到 的 RDM( 反 映 了 
刺激 之 间 的 绝对 差异 程度 ) 有 可 能 是 相似 的 (如 图 4A 被 试 1、 被 试 2 的 神经 RDM 所 示 )。 此 
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外 ， 研 究 者 还 可 以 基于 研究 目的 对 不 同 来 源 和 形式 的 数据 进行 量化 (如 图 4A 分 别 根据 行为 
表现 和 类 别 属性 构建 的 行为 RDM、 概 念 RDM)， 并 与 根据 EEG/MEG 数据 构建 的 逐 时 间 点 
神经 RDMs 进行 比较 ， 进 而 阐明 不 同类 型 的 数据 能 够 在 哪些 时 程 上 提供 一 致 性 信息 ， 以 在 


不 同 层面 反映 刺激 条 件 之 间 的 差异 (图 4B, Kriegeskorte et al., 2008a, 2013; Carlson et al., 2013; 


Cichy et al., 2014, 2017a; Redcay & Carlson, 2015; Grootswagers et al., 2019). 
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4 RSA 方法 示意 图 。(A) 根据 不 同 个 体 的 神经 活动 、 行 为 表现 、 类 别 属性 等 来 对 不 同 刺激 条 件 之 间 的 差异 进行 量化 ， 得 到 
的 不 相似 度 可 以 记录 在 RDM 中 (此 处 神经 RDM 的 数据 来 源 为 某 时 间 点 的 EEG 数据 ,不 相似 度 以 1- 相 似 度 (刺激 M,， 刺激 N) 来 
计算 ; 行为 RDM 的 数据 来 源 为 行为 评分 ， 不 相似 度 以 相对 距离 (刺激 M， 刺 激 N) 来 计算 ; 具体 算法 以 及 其 它 评估 方式 见 4.2.1 
节 )。 由 于 个 体 差异 的 存在 ， 对 于 一 组 刺激 以 及 这 组 刺激 内 不 同 刺激 条 件 之 间 的 差异 ， 在 不 同 被 试 的 神经 活动 和 行为 表现 上 可 能 
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是 不 一 样 的 ;如 果 被 试 内 部 对 不 同 刺 激 条 件 的 加 工 存在 稳定 的 规律 ， 那 么 通过 计算 得 到 的 RDM 在 个 体 之 间 可 能 是 类 似 的 。(B) 
对 于 EEG/MEG 数据 ， 可 以 在 每 个 时 间 点 上 计算 不 同 刺激 条 件 之 间 的 不 相似 度 并 构建 对 应 的 神经 RDM， 再 分 别 与 其 它 来 源 的 
RDM 进行 比较 得 到 相似 度 曲 线 。 例 如 ， 本 图 显示 在 刺激 呈现 约 200ms 后 出 现 了 区 分 动 植物 类 别 概念 的 神经 表征 ， 这 种 分 类 机 制 
在 不 同 个 体 之 间 是 一 致 的 (尽管 具体 的 神经 表征 活动 模式 在 不 同 被 试 间 可 能 存在 较 大 差异 )。 将 构建 的 模型 RDM 与 逐 时 间 点 构建 
的 神经 RDMs 进行 比较 ， 可 以 在 一 定 程 度 上 说 明 根 据 理论 假设 构建 的 模型 能 够 在 什么 时 程 上 对 不 同 刺激 类 型 之 间 的 差异 做 出 解 
释 。 
在 ERPs/ERMFs 研究 中 ， 解 码 分 析 和 RSA 不 仅 可 以 在 时 间 进 程 上 揭示 个 体 间 一 致 的 加 
工 机 制 ， 并 且 当 个 体 间 存 在 显著 差异 、 但 是 个 体内 存在 稳定 的 加 工 机 制 时 ， 还 能 对 有 具体 的 神 
经 表征 模式 进行 探索 ， 用 于 识别 个 体 的 “ 脑 指 纹 ”。 将 这 两 种 方法 引入 EEG/MEG 研究 ， 可 
以 弥补 传统 分 析 方 法 只 关注 群体 水 平 ERPs/ERMFs 结果 的 不 足 ， 还 能 根据 每 个 被 试 独 有 的 
大 脑 活动 模式 , 给 出 个 体 水 平 上 的 统计 分 析 结 果 , 帮助 人 们 在 个 体 水 平 上 理解 信息 编码 加 工 
的 时 程 。 
3 基于 分 类 的 解码 
3.1 基本 概述 

解码 分 析 起 源 于 机 器 学 习 中 的 分 类 算法 ， 它 主要 根据 从 样本 数据 中 提取 的 特征 (能 够 反 
映 样本 数据 在 某 些 方面 的 属性 。ERPs/ERMFs 研究 主要 关注 如 时 间 - 振 幅 、 时 间 - 通 道 、 时 间 
-频率 -功率 等 特征 ) 来 训练 能 够 区 分 不 同类 别 (样本 数据 所 属 的 种 类 ， 如 刺激 类 型 、 认 知 状态 
等 ) 的 分 类 模型 。 在 认 知 神经 科学 领域 ， 人 们 可 以 使 用 与 特定 事件 相关 的 EEG/MEG 数据 来 
训练 和 测试 分 类 器 (classifier)， 以 寻找 不 同心 智 活动 下 的 神经 表征 差异 ， 从 而 将 特定 事件 所 


对 应 的 大 脑 活 动 信号 进行 区 分 (Pereira et al., 2009; Haxby et al., 2014; Haynes, 2015; Contini et 
al., 2017)。 以 采用 EEG/MEG 技术 开展 的 一 个 视觉 研究 举例 , 解码 分 析 的 流程 大 至 如 图 5 所 
示 : 该 研究 拟 探究 人 们 在 识别 动物 刺激 和 植物 刺激 时 的 神经 信号 差异 , 在 向 被 试 呈现 不 同类 
型 的 视觉 刺激 并 记录 EEG/MEG 后 (图 SA)， 对 每 名 被 试 的 数据 进行 单独 处 理 。 首 先进 行 数 
据 预 处 理 以 提高 解码 分 析 的 效果 , 再 将 预 处 理 好 的 数据 分 为 训练 集 和 测试 集 并 分 别 打上 标签 
(例如 试 次 2 和 试 次 3 都 是 动物 ， 编 码 为 0; 试 次 1 和 试 次 4 都 是 植物 ， 编 码 为 1) 形 成 训练 
集 和 测试 集 然后 将 训练 集 用 于 训练 分 类 器 以 构建 分 类 模型 (不 同 通 道 下 每 个 试 次 的 神经 信 
号 为 预测 变量 ， 打 上 的 标签 为 结果 变量 );， 最 后 用 测试 集 来 检验 分 类 模型 的 性 能 ， 即 计算 模 
型 预测 标签 和 实际 标签 的 差异 ， 也 就 是 解码 正确 率 (图 SB)。 如 果 解 码 正 确 率 高 于 随机 水 平 
(chance level， 本 研究 中 的 随机 水 平 为 S0%)， 说 明 它 确实 能 够 区 分 不 同 的 大 脑 认 知 状态 ， 因 
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为 分 类 器 能 够 从 训练 集中 学 习 到 不 同 的 类 别 与 其 特征 之 间 的 关系 , 并 将 这 种 关系 推广 到 训练 
样本 以 外 的 独立 数据 中 。 对 于 每 名 被 试 , 可 以 在 每 个 时 间 点 都 分 别 进 行 上 述 的 解码 分 析 并 得 
到 一 个 解码 正确 率 ， 进 而 绘制 解码 正确 率 随 时 间 变 化 的 曲线 (图 3); 对 多 名 被 试 的 解码 正确 
率 曲 线 进 行 组 平均 分 析 和 统计 检验 ， 能 够 考察 不 同 实验 条 件 间 的 神经 表征 差异 何 时 达到 显 
著 ， 从 而 揭示 人 类 大 脑 进行 分 类 加 工 的 时 间 进 程 。 
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图 5 “解码 分 析 流程 示意 图 。(A) 采用 标准 的 EEG/MEG 记录 方法 对 呈现 不 同类 型 刺激 信息 时 被 试 的 大 脑 活 动 信号 进行 采集 。 
由 于 每 种 类 型 的 刺激 都 与 一 种 特定 的 大 脑 活动 模式 有 关 ， 因 此 可 以 寻找 大 脑 与 不 同 刺激 条 件 之 间 的 神经 相关 性 。(B) 解 码 分 析 的 
基本 模型 。 将 已 有 数据 划分 为 训练 集 和 测试 集 (其 中 色 块 表示 用 于 解码 分 析 的 特征 信息 )， 使 用 已 标记 训练 标签 的 数据 来 训练 分 类 
器 , 并 使 用 测试 集 对 训练 好 的 分 类 器 进行 测试 ; 通过 计算 分 类 模型 预测 的 结果 和 真实 结果 之 间 的 差异 , 便 可 以 得 到 用 于 评估 分 类 
性 能 的 解码 正确 率 。 
3.2 ”具体 算法 及 实现 
3.2.1 数据 预 处 理 

与 传统 ERPs/ERMFs 分 析 相 似 , 解码 分 析 的 预 处 理 阶 段 也 需要 使 用 滤波 、 眼 动 校正 、 伪 
迹 排除 、 数 据 分 段 、 重 参考 等 方式 来 处 理 原始 信号 ( 详 见 Luck, 2014)， 以 尽 可 能 地 减少 伪 迹 
和 噪声 带 来 的 影响 .在 预 处 理 阶 段 , 根 据 关 注 的 特征 类 型 对 信号 处 理 的 操作 有 所 不 同 .例如 ， 
关注 特定 的 时 域 ERP 成 分 时 需要 将 提取 后 的 ERPs/ERMFs 振幅 信息 作为 后 续 解码 的 输入 ， 


通常 采用 截止 频率 30-40Hz 的 低 通 数 字 滤 波 去 除 高 频 噪音 (低频 噪 音 一 般 是 在 EEG 记录 时 

通过 高 通 模拟 滤波 来 去 除 ， 截 止 频 率 通 常设 为 0.01-0.1Hz)〉; 关注 某 个 频段 的 神经 震荡 活动 

时 ， 可 以 采取 希 尔 伯 特 变换 或 小 波 变换 的 方式 提取 固定 频段 的 能 量 信号 〈 例 如 ，8-13Hz 的 

alpha 能 量 ) 作为 后 续 解 码 的 输入 (Bae & Luck, 2018; Xie et al., 2020)。 受 到 通道 数量 、 采 相 

率 、 关 注 的 特征 类 型 等 诸多 因素 的 影响 , 有 时 为 了 防止 输入 分 类 器 的 特征 数量 过 多 而 导致 过 
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拟 合 (over fitting) 的 情况 发 生 (De Martino et al., 2008; Misaki et al., 2010; Lemm et al., 2011; 
Weaverdyck etal.,2020)， 需 要 对 EEG/MEG 数据 进行 降 维 处 理 以 减少 数据 中 的 元 余 信 息 。 常 
用 的 数据 降 维 方法 


component analysis) 和 方差 分 析 (analysis of variance) 等 (Pereira et al., 2009; Lemm et al., 2011; 


有 主 成 分 分 析 (principle component analysis)、 独 立成 分 分 析 (independent 


Carlson et al., 2011, 2013; Charles et al., 2014; Isik et al., 2014; Sankaran et al., 2018; Dobs et al., 
2019)。 为 了 减少 解码 的 耗 时 ， 在 解码 之 前 可 以 通过 将 时 间 窗 内 多 个 时 间 点 的 数据 平均 来 对 
数据 进行 降 采样 (downsampling) 处 理 ， 该 操作 会 增加 数据 的 信 噪 比 ， 一 定 程度 上 能 够 提升 解 
码 性 能 ， 同 时 由 于 数据 降 到 较 低 的 采样 率 ， 使 得 用 于 训练 和 测试 分 类 器 的 时 间 点 数量 减少 ， 
这 将 大 幅 减少 信号 解码 的 耗 时 ， 对 于 数据 分 析 来 说 是 有 利 的 (Carlson et al., 2011, 2013; Kaiser 
et al., 2016a, 2016b; Giari et al., 2020)。 此 外 ， 在 解码 分 析 前 随机 选取 相同 刺激 条 件 下 的 部 分 
试 次 进行 信号 平均 来 提高 用 于 解码 数据 的 信 噪 比 , 可 以 适当 提高 解码 性 能 , 并 且 在 一 定 范围 
内 ， 随 着 用 于 信号 平均 的 试 次 数 增加 ， 其 解码 正确 率 的 也 会 有 一 定 的 提升 (Isik et al., 2014; 


Redcay & Carlson, 2015; Grootswagers et al., 2017; Bae & Luck, 2018, 2019a, 2019b; Collins et 
al., 2018). 

在 预 处 理 阶段 , 如 果 ERPs/ERMFs 在 试 次 之 间 显 示 出 较 大 的 变异 性 ,导致 数据 处 于 一 个 
较 大 的 取 值 范围 时 ， 则 要 对 数据 进行 归 一 化 normalization) 处 理 (Correia et al., 2015; 


Guggenmos et al., 2018; Tuckute et al., 2019; Kong et al., 2020)。 归 一 化 不 仅 能 够 避免 不 同 数据 


间 由 于 取 值 范围 的 差异 所 造成 的 影响 , 提高 解码 精度 , 还 能 适当 降低 训练 分 类 器 的 时 间 成 本 ， 


从 而 提高 计算 效率 。 常 用 的 归 一 化 方法 有 最 小 最 大 值 法 (min-max; Croce et al., 2018; Güven et 


al., 2020) All Z 分 数 法 (z-score; Isik et al., 2014; Sato et al., 2018; Tuckute et al., 2019; Barchiesi et 
al., 2020). 

3.2.2 数据 划分 

在 训练 分 类 器 之 前 , 需要 将 预 处 理 之 后 的 ERPs/ERMFs 数据 划分 为 训练 集 和 测试 集 , 用 
于 训练 分 类 器 并 测试 其 泛 化 性 能 (训练 得 到 的 分 类 模型 对 新 样本 数据 的 适应 能 力 )。 受到 实际 
样本 数量 的 限制 ， 为 了 尽 可 能 的 对 数据 进行 利用 ， 提 高 分 类 器 的 性 能 ， 需 要 引入 交叉 验证 
(cross validation) 的 方法 。 最 广泛 使 用 的 是 折 (krfolds) 交 叉 验 证 ， 该 过 程 包括 了 彼此 相互 独 
立 的 K 次 迭代 运算 ( 即 次 训练 和 测试 ): 首先 需要 将 数据 集 等 比例 划分 成 K 个 试 次 数 相等 
的 子 集 , 在 每 次 迭代 过 程 中 依次 取出 划分 后 的 1 个 子 集 作 为 测试 集 , 用 来 对 训练 后 的 分 类 器 
性 能 做 出 评估 ， 同 时 将 剩 下 的 K-1 个 子 集 作为 训练 集 用 于 训练 分 类 器 ;最 后 将 K 次 迭代 后 


得 到 的 正确 率 进 行 平均 (Pereira et al., 2009; Lemm et al., 2011; Grootswagers et al., 2017; 
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Weaverdyck et al., 2020). “4 K 折 交 义 验 证 的 迭代 运算 次 数 KK 等 于 样本 量 N 时 ， 是 K 折 交 又 
验证 的 一 种 特殊 形式 ， 也 称 为 留 一 法 (leave-one-oub 交 叉 验证 : 每 次 抽出 一 个 样本 作为 测试 
二 ， 并 将 剩余 的 N-1 个 样本 用 来 训练 分 类 器 ; 将 该 过 程 不 断 重 复 ， 直到 每 个 样本 都 被 作为 了 
测试 集 ， 此 时 会 得 到 N 个 解码 正确 率 ， 它 们 的 平均 结果 则 作为 衡量 模型 性 能 的 指标 。 留 一 
法 对 样本 的 利用 率 最 高 ， 但 同时 该 方法 会 非常 耗 时 ， 一 般 更 适用 于 小 样本 的 情况 (Pereira et 


m 


să 


al., 2009; Lemm et al., 2011; Carlson et al., 2013; Tucciarelli et al., 2015; Grootswagers et al., 2017, 
2019; Robinson et al., 2019). 

应 当 注意 的 是 , 在 一 个 完整 的 训练 -测试 流程 中 , 训练 和 测试 的 数据 需要 保持 相互 独立 ， 
如 果 对 来 自 相同 刺激 条 件 的 某 个 试 次 同时 执行 训练 和 测试 两 个 步 又, 容易 造成 分 类 器 过 拟 合 
的 情况 ， 进 而 对 其 性 能 造成 影响 (Fahrenfort et al. 2018)。 另 外 ， 还 需要 尽量 保持 各 个 条 件 之 
间 样 本 数量 的 平衡 , 否则 有 可 能 会 导致 分 类 器 对 不 同类 别 的 判别 能 力 有 着 较 大 的 差距 , 使 得 
分 类 器 进行 分 类 时 偏向 样本 基数 大 的 一 方 就 能 得 到 较 高 的 正确 率 , 进而 对 实验 结果 的 解释 
影响 (Pereira et al., 2009; Carlson et al., 2019). 
3.2.3 模型 构建 

将 数据 进行 划分 后 , 需要 把 训练 集 输 入 至 分 类 器 中 , 使 分 类 器 从 数据 中 按照 一 定 规则 找 
到 决策 边界 ,求解 出 相应 的 函数 来 构建 分 类 模型 。 对 于 分 类 器 的 选择 ,一 般 选 择 线性 分 类 器 
而 不 是 非 线 性 分 类 器 , 主要 有 以 下 几 点 考量 : 第 一 ， 非 线性 分 类 器 虽然 能 够 拟 合 更 为 复杂 的 
决策 边界 , 但 这 种 分 类 性 能 的 提高 往往 是 以 过 拟 合 为 代价 的 , 导致 其 对 结果 的 可 解释 性 比 线 
性 分 类 器 差 (Kamitani & Tong, 2005; Misaki et al., 2010; Carlson et al., 2019; Ivanova et al., 2021). 
第 二 ， 线 性 分 类 器 能 够 将 其 权重 经 过 处 理 后 投影 到 EEG/MEG 通道 的 地 形 图 上 ( 详 见 下 一 小 
节 “ 权 重 投影 ”部 分 )， 使 结果 可 视 化 ， 让 人 们 能 够 对 解码 信息 的 来 源 有 一 个 更 加 直观 的 认 
识 (Haufe etal.,2014)。 第 三 ， 线 性 分 类 器 是 对 来 自 不 同 通道 的 信息 进行 加 权 和 组 合 ， 与 大 脑 
神经 元 的 工作 原理 很 像 ， 更 符合 生物 学 特性 (Kriegeskorte, 2011; Ivanova etal., 2021)。 因 此 在 
认 知 神经 科学 的 研究 中 , 研究 者 更 加 倾向 于 使 用 线性 分 类 器 进行 解码 分 析 , 如 线性 支持 向 量 


机 (linear support vector machine, LSVM; Cichy et al., 2014, 2016a, 2016b, 2017a, 2017b; Charles 


- 


(a 


2 


et al., 2014; Tucciarelli et al., 2015; Bae & Luck, 2018, 2019a, 2019b; Dobs et al., 2019) 和 线性 判 
别 分 析 (linear discriminant analysis, LDA; Carlson et al., 2011, 2013; Kaiser et al., 2016a, 2016b; 


Wardle etal., 2016; Fahrenfort et al., 2017a, 2017b; Alilović et al., 2019; Linde-Domingo et al. 2019; 


Barchiesi et al., 2020; Blom et al., 2020)。 在 有 具体 研究 中 ， 单 纯 地 追求 更 高 的 解码 正确 率 并 非 


是 解码 分 析 在 认 知 神经 科学 中 的 主要 目标 , 研究 者 更 重视 的 是 对 认 知 加 工 过 程 的 神经 机 制 进 
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了 合理 的 阐述 (Hebart & Baker, 2018; Teichmann et al., 2020)， 所 以 在 非 必要 的 情况 下 ， 线 性 
分 类 器 是 最 佳 的 选择 。 
3.2.4 模型 检验 

在 训练 好 分 类 器 之 后 ， 需 要 用 测试 集 数据 对 其 进行 泛 化 测试 ,以 评估 分 类 器 对 于 特定 认 
知 加 工 过 程 的 识别 能 力 。 泛 化 测试 得 到 的 结果 一 般 是 分 类 器 的 解码 正确 率 ;在 前 人 的 研究 中 ， 
有 许多 方法 被 用 于 在 群体 水 平 上 对 分 类 器 的 解码 正确 率 和 随机 水 平 之 间 的 差异 进行 统计 检 


验 ， 如 ft 检验 (t-test; Carlson et al., 2011; Allefeld et al., 2016; Bode et al., 2018; Fahrenfort et al., 


2017a, 2017b, 2018; Hubbard et al., 2019; Sandhaeger et al., 2019)、 贝 叶 斯 因子 (bayes factors; 
Wagenmakers, 2007; Rouder et al., 2009; Dienes, 2016; Grootswagers et al., 2019; Robinson et al., 
2019), Wilcoxon 符号 秩 检验 (Wilcoxon signed-rank test; Charles et al., 2014; Correia et al., 2015; 
Redcay & Carlson, 2015; Sankaran et al., 2018; Linde-Domingo et al. 2019) 、 置 换 检验 
(permutation test; Cichy et al., 2014; Isik et al., 2014; Tucciarelli et al., 2015; Pantazis et al., 2018) 
等 方法 。 由 于 以 上 方法 在 每 个 时 间 点 上 都 对 正确 率 进 行 了 检验 , 大 量 的 检验 会 造成 多 重 比较 
的 问题 ， 所 以 还 需要 对 检验 后 的 结果 进行 校正 。 常 


i 


的 多 重 比 较 校 正方 法 有 FDR(false 


discovery rate; Benjamini & Yekutieli, 2001; Correia et al., 2015; Redcay & Carlson, 2015; 


Fahrenfort et al., 2018; Heikel et al., 2018; Pantazis etal., 2018)、 基 于 艇 的 置换 检验 (cluster-based 
permutation test; Maris & Oostenveld, 2007; Oosterhof et al., 2016; Fahrenfort et al., 2017a, 2017b; 
Kia et al., 2017; Bae & Luck, 2019a, 2019b; Teichmann et al., 2020) 以 及 Bonferroni 校正 
(Bonferroni; Cichy et al., 2014; Kaiser et al., 2016b; Guggenmos et al., 2018; Sankaran et al., 2018). 
以 上 评估 和 校正 方法 都 取得 了 不 错 的 效果 , 但 是 它们 同样 有 着 各 自 最 适合 使 用 的 场景 , 因此 


需要 结合 实际 的 研究 内 容 来 选择 具体 的 方法 (Allefeld et al., 2016; Hebart & Baker, 2018; 


Carlson et al., 2019). 


己 有 的 ERPs/ERMFs 研究 主要 是 在 关注 的 通道 上 (全 部 通道 或 者 由 部 分 通道 组 成 的 通道 
秘 ) 利 用 数据 空间 结构 特征 逐 时 间 点 开展 解码 分 析 ， 但 不 同 研究 之 间 对 于 数据 处 理 方法 的 选 
择 并 不 一 致 (如 预 处 理 采 用 哪些 步骤 、 怎 样 对 数据 进行 划分 、 如 何 构建 模型 并 对 其 进行 统计 
检验 等 )， 目 前 还 没有 一 套 可 供 参考 的 标准 化 规范 ， 因 此 研究 者 在 实际 分 析 的 时 候 需 要 根据 
自身 的 数据 特点 进行 综合 考量 , 尽 可 能 选择 最 合适 的 方法 组 合 ,以 保持 解码 精度 和 操作 步 又 
数量 之 间 的 平衡 (Grootswagers et al., 2017; Carlson et al., 2019)。 

3.3 ”基于 解码 分 析 的 衍生 方法 

3.3.1 时 间 泛 化 方法 
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时 间 泛 化 方法 (the temporal generalization method) 能 够 对 神经 表征 随时 间 变 化 的 稳定 性 
进行 描述 (Fahrenfort et al. 2018)， 根 据 关注 的 问题 类 型 可 有 具体 细 分 为 跨 时 域 解码 (cross- 
temporal decoding) 和 路 任务 /状态 解码 (cross-task/state decoding) 两 种 方法 。 其 中 ， 跨 时 域 解码 
通过 在 特定 的 时 间 点 上 对 分 类 器 进行 训练 , 并 在 所 关注 时 间 进 程 内 部 的 所 有 时 间 点 上 进行 泛 
化 测试 ， 利 用 时 间 泛 化 矩阵 来 揭示 不 同 认 知 状态 下 的 大 脑 活动 模式 是 怎样 随 着 时 间 变 化 的 ， 
使 人 们 对 大 脑 活 动 模式 在 时 间 跨 度 上 的 泛 化 性 可 以 有 更 为 直观 的 认识 (Carlson et al., 2011, 
2013; Cichy et al., 2014; King & Dehaene, 2014; Teichmann et al., 2018; Dobs et al., 2019)。 如 图 
6A 所 示 ， 甜 阵 对 角 线 上 的 结果 与 常规 逐 时 间 点 解码 分 析 得 到 的 结果 一 致 ， 而 非 对 角 线 上 的 
结果 则 代表 了 神经 表征 随时 间 变 化 的 情况 : 如 果 在 某 个 时 间 点 上 训练 好 的 分 类 器 能 够 很 好 的 
对 其 它 时 间 点 上 的 数据 进行 预测 , 说 明 在 这 些 时 间 点 上 大 脑 对 信息 的 编码 模式 是 类 似 的 ; 反 
Zo 则 说 明 在 这 些 时 间 点 上 大 脑 对 信息 的 编码 模式 发 生 了 变化 ， 导致 该 分 类 器 的 决策 边界 不 
再 适用 于 其 它 时间 点 (Carlson et al., 2011; Grootswagers et al., 2017). 

跨 时 域 解码 用 于 解释 神经 表征 是 如 何 随 着 时 间 动 态 变化 的 ， 跨 任务 /状态 解码 则 用 于 揭 
示 不 同类 型 刺激 之 间 的 神经 表征 差异 在 不 同 任务 状态 下 的 泛 化 情况 (King & Dehaene, 2014; 
Contini et al., 2017): 使 用 任务 A 下 的 ERPs/ERMEs 数据 对 分 类 器 进行 训练 ， 并 对 任务 B 的 
ERPs/ERMFs 数据 进行 泛 化 测试 , 可 以 揭示 不 同 任务 状态 下 大 脑 对 信息 编码 过 程 中 神经 表征 
的 相似 性 ， 以 及 这 种 相似 性 是 如 何 随 着 时 间 变 化 的 (Isik et al., 2014; Kaiser et al., 2016a, 2016b; 
Dijkstra et al., 2018; Blom et al., 2020; Xie et al., 2020)。 跨 时 域 解码 与 跨 任务 /状态 解码 的 分 析 
流程 基本 相似 , 不 同 之 处 在 于 , 用 于 跨 时 域 解码 的 训练 集 和 测试 集 是 从 同一 个 任务 下 不 同 条 
件 的 数据 中 采用 交叉 验证 的 方法 进行 划分 所 得 ， 用 于 跨 任务 /状态 解码 的 训练 集 和 测试 集 则 
来 自 两 个 不 同 实验 任务 下 的 数据 , 两 个 实验 任务 的 数据 需要 分 别 作为 训练 集 和 测试 集 来 分 别 
完成 一 次 解码 ， 且 任务 之 间 的 刺激 条 件 要 彼此 对 应 ( 即 任务 A 的 条 件 M 要 与 任务 B 的 条 件 
M 对 应 ， 任 务 A 的 条 件 N 要 与 任务 B 的 条 件 N 对 应 )。 

3.3.2 权重 投影 

使 用 考虑 特征 协 方差 的 线性 分 类 器 (如 支持 向 量 机 、 线 性 判别 分 析 ) 对 多 个 通道 的 数据 进 
行 解码 分 析 时 ， 除 了 解码 正确 率 外 ， 还 能 获取 到 分 类 器 在 各 个 通道 上 用 于 预测 的 特征 权重 。 
根据 不 同 通道 的 权重 信息 进行 特定 的 数学 变换 , 可 以 估计 某 一 通道 在 分 类 过 程 中 对 于 有 效 信 
娠 的 贡献 情况 ， 进 而 定位 解码 信息 的 主要 来 源 ， 这 便 是 权重 投影 (weight projectiom) 方 法 。 

当 使 用 权重 投影 的 方法 来 说 明 解 码 信息 的 潜在 来 源 时 , 必须 只 考虑 用 于 区 分 不 同类 别 条 


件 之 间 差 异 的 信号 ， 使 得 权重 只 反映 每 个 特征 在 分 类 过 程 中 的 重要 性 (Haufe et al., 2014; 
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Fahrenfort et al. 2017b; Hebart & Baker, 2018; Carlson et al., 2019)。 由 于 来 自 线性 分 类 器 解码 
之 后 每 个 通道 的 权重 不 能 可 靠 地 被 直接 解释 为 神经 活动 信号 的 强 弱 (Haufe etal., 2014), Fei] 
可 以 使 用 Haufe 等 人 (2014) 描 述 的 一 种 数学 方法 ,可 以 提升 权重 信息 的 可 解释 性 (图 6B)。 以 
线性 分 类 器 LDA 的 权重 变换 为 例 , 该 方法 将 分 类 器 的 权重 乘 以 数据 协 方差 矩阵 。 由 于 从 LDA 
中 获得 的 权 值 包 含 由 协 方差 矩阵 归 一 化 的 两 个 比较 集 之 间 的 差异 , 该 方法 重新 生成 的 通道 权 
重 ， 可 以 解释 为 神经 源 信息 。 还 需 注 意 的 是 ,权重 投 影 法 并 不 适用 于 滑动 窗口 这 种 将 多 个 时 


间 点 的 数据 直接 作为 输入 特征 来 进行 分 类 的 方法 (Haufe et al., 2014; Grootswagers et al., 2017; 


Kia et al., 2017). 


3.3.3 探照灯 分 析 


探照灯 分 析 (searchlighb 也 称 为 信息 映射 information mapping), Æ 


ss 


于 识别 局 部 信息 


区 域 特征 ， 以 支持 在 时 间 、 频 率 、 通 道上 对 关注 的 效应 进行 定位 (Tucciarelli et al., 2015; 


Oosterhof et al., 2016; Ronconi et al., 2017; Sato et al., 2018)。 探 照 灯 分 析 的 中 心思 想 在 于 ， 以 


某 一 时 间 点 、 频 率 或 者 通道 为 中 心 ， 联 合 该 中 心 邻 域 (neighborhoods) 内 的 其 它 信 息 共 同 构 建 


特征 向 量 来 作为 用 于 解码 分 析 的 特征 集 (图 6C Ac. A), 并 用 计算 得 到 的 解码 正确 率 (在 探 照 
灯 分 析 中 亦 被 称 作 度 量 ，measures) 作 为 评估 该 中 心 特征 对 于 分 类 的 页 献 指 标 (图 6C 右 )。 其 


中 ， 邻 域 指 的 是 在 探照灯 分 析 中 具体 使 用 的 时 间 、 频 率 以 及 通道 半径 范 
析 中 所 使 用 的 区 间 间 隔 大 小 (Oosterhof et al., 2016). 


围 , 它 定 义 了 实际 分 


为 了 直观 体现 传统 解码 分 析 和 探照灯 分 析 的 区 别 ， 下 面 以 时 域 解码 为 例 , 解码 分 析 的 做 


法 是 将 全 部 通道 (或 其 子 集 ) 的 ERPs/ERMFs 数据 进行 逐 时 间 点 分 类 , 探照灯 分 析 则 是 以 每 个 


时 间 点 为 中 心 ， 将 它们 分 别 与 其 邻 域 内 的 时 间 点 进行 整合 ， 并 对 整合 后 全 部 通道 (或 其 子 集 
的 数据 进行 逐 时 间 点 分 类 。 如 利用 64 通道 的 ERPs 数据 进行 逐 时 间 点 解码 ， 解 码 分 析 在 


x 


ET 


个 时 间 点 上 用 于 训练 模型 的 特征 数 为 64*1=64 个 ， 而 邻 域 为 2 的 探照灯 分 析 还 需要 包含 前 
后 各 2 个 时 间 点 的 信息 ， 因 此 在 某 一 时 间 点 上 需要 输入 的 特征 数 为 64*(2+1+2)=320 个 。 此 
时 ， 探 照 灯 分 析 可 以 视 为 尽 可 能 地 减少 时 域 上 的 高 频 噪音 对 数据 造成 的 影响 , 在 寻找 效应 来 


源 的 同时 增加 信 噪 比 ， 以 发 掘 更 加 精细 的 差异 。 基 于 ERPs/ERMFs 数据 的 探照灯 分 析 具 有 


多 种 形式 ， 同 理 ， 当 进行 逐 通 道 的 分 析 时 ， 则 是 将 每 个 通道 及 其 邻 域内 的 通道 整合 为 一 个 通 
道 复 来 作为 分 类 器 输入 特征 ， 以 提高 空间 维度 上 的 信 噪 比 。 由 于 不 同 的 邻 域 之 间 可 以 相互 组 
合 ， 因 此 还 可 以 使 用 时 间 - 通 道 的 探照灯 分 析 ， 在 时 间 、 空 间 上 对 所 关注 的 效应 进行 定位 ， 


直到 获得 每 个 通道 在 不 同时 刻 对 分 类 结果 贡献 的 映射 情况 (Tucciarelli et al., 2015; Kaiser etal., 


2016b; Kietzmann et al., 2017; Ronconi et al., 2017; Collins et al., 2018; Robinson et al., 2019; 
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Barchiesi et al., 2020; Giari et al., 2020; Teichmann et al., 2020)。 以 此 类 推 ， 时 间 、 频 率 、 通 道 
之 间 也 可 以 进行 组 合 , 并 且 在 EEG/MEG 研究 中 , 还 可 以 将 时 间 泛 化 方法 与 探照灯 分 析 相 结 
合 ， 实 现时 间 泛 化 -探照灯 分 析 (Oosterhof et al.,2016)。 作 为 解码 分 析 的 衍生 方法 ， 利 用 控 照 
灯 分 析 同 样 可 以 描述 不 同 刺激 条 件 下 大 脑 活 动 模式 的 细微 变化 ， 从 而 提供 新 颖 的 见解 
(Collins et al., 2018)。 

权重 投影 和 逐 通道 的 解码 分 析 / 探 照 灯 分 析 都 可 以 作为 对 神经 活动 信号 源 进行 定位 的 方 
法 , 它们 对 于 结果 的 解释 可 以 是 相似 的 ， 比 如 不 同 神经 表征 的 差异 体现 在 哪些 时 刻 的 哪些 脑 
区 或 者 通道 上 。 需 要 注意 的 是 ， 这 些 方法 基于 不 同 的 算法 原理 ,关注 的 分 别 是 线性 分 类 器 赋 
予 各 通道 的 权重 值 和 解码 正确 率 。 因 此 ， 即 便 对 于 同一 批 数 据 而 言 ， 这 些 方法 用 于 计算 结果 


的 信息 来 源 并 不 完全 相同 。 
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is Š 
HE bai 
ae = 
= > 
ot ? 
te E 
gi 
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-0.2 0.0 0.2 04 06 08 1.0 12 
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= 
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中 心 时 间 
图 6 基于 解码 分 析 的 衍生 方法 示意 图 。(A) 利 用 时 间 泛 化 方法 能 够 直观 地 在 时 间 跨 度 上 对 刺激 呈现 后 相应 的 神经 表征 稳定 性 进 


行 观 察 。 其 中 , 对 角 线 为 常规 逐 时 间 点 解码 分 析 的 结果 , 非 对 角 线 为 信息 编码 模式 随时 间 变 化 的 情况 。(B) 原 始 权重 投影 如 左 图 ， 

由 于 直接 使 用 各 个 通道 的 原始 权重 值 不 利于 对 解码 信息 的 来 源 做 出 合理 的 解释 ,因此 需要 使 用 Haufe 等 人 (2014) 提 供 的 方法 对 原 
始 特征 权重 进行 变换 。 如 右 图 所 示 ， 变 换 后 的 权重 投影 解释 性 更 强 ， 体 现 为 枕 区 对 于 区 分 不 同 条 件 的 贡献 最 大 。(C) 采 用 探照灯 
分 析 能 够 在 时 间 、 频 率 、 通 道 维度 上 对 感 兴趣 的 多 变量 效应 进行 研究 。 如 左 图 、 中 图 所 示 ， 当 以 某 一 时 间 点 、 频 率 或 者 通道 为 中 


心 ， 联 合 该 中 心 邻 域内 的 其 它 信息 共同 构建 分 类 特征 ， 可 以 帮助 人 们 从 时 间 、 功 率 、 空 间 上 探索 特定 频率 下 在 不 同时 刻 每 个 通道 
14 


对 分 类 结果 的 贡献 情况 ， 其 结果 如 右 图 所 示 。 

解码 分 析 能 够 在 一 定 程度 上 对 不 同 认 知 状态 下 的 神经 表征 差异 进行 探索 和 预测 , 但 是 其 
依旧 存在 着 些许 不 足 。 具体 来 说 , 在 神经 表征 空间 中 进行 解码 分 析 时 ， 主 要 依赖 于 分 类 器 去 
寻找 能 够 将 不 同 大 脑 活动 模式 进行 分 离 的 最 佳 决策 边界 , 从 而 判断 不 同 认 知 状态 下 的 大 脑 活 
动 模式 是 否 有 明显 差异 。 对 于 具体 是 何 种 表征 信息 在 分 类 过 程 中 起 到 了 决定 性 作用 、 不 同 的 
征 信息 又 是 以 何 种 形式 在 大 脑 中 进行 组 织 的 ， 大 脑 是 怎样 表征 相同 类 别 刺激 中 不 同 客体 
(例如 动物 类 别 中 的 “黑猩猩 ”和 “ 狗 ” 的 表征 ) 之 间 的 共性 与 差异 ， 往 往 难 以 从 解码 分 析 的 
结果 中 得 知 (Haxby et al., 2014; Nili et al., 2014; Popal et al., 2019; Weaverdyck et al., 2020; Freund 
etal., 2021)。 在 下 一 章 中 ， 我 们 将 介绍 另 一 种 用 于 弥补 上 述 不 足 的 神经 解码 方法 一 一 表征 相 
似 性 分 析 。 
4 ”表征 相似 性 分 析 
= 4.1 基本 概述 
= 在 认 知 神经 科学 研究 中 ,经 常 需要 将 理论 模型 与 来 自 不 同 被 试 的 行为 数据 、 脑 影像 数据 
进行 比较 ， 由 于 数据 采集 方式 不 同 、 各 种 分 析 方 法 的 测量 精度 不 一 等 因素 ， 如 何 跨越 不 同 来 
源 数据 之 间 的 差异 并 将 它们 进行 关联 ， 是 许多 研究 者 关注 的 问题 。Kriegeskorte 等 人 (2008a) 
N 提出 了 一 种 叫做 RSA 的 模式 信息 分 析 (pattern-information analysis) 方 法 用 于 研究 脑 活动 测量 、 


2 行为 测量 和 计算 建 模 之 间 的 定量 关系 。RSA 主要 关注 的 是 刺激 条 件 与 神经 响应 水 平 之 间 的 


= 


号 二 阶 同 构 (second-order isomorphism) 而 非 两 者 之 间 的 一 阶 同 构 (first-order isomorphism): 一 阶 
= FeV Rey EL EC Be HH AS LR OE IT R AA, WA LEB AS EIRE E EN 
© 激 与 植物 刺激 时 所 诱发 出 的 ERPs/ERMFs 的 极 性 、 振 幅 强度 、 潜 伏 期 等 情况 (这 也 体现 出 传 

统 EEG/MEG 分 析 对 被 试 的 一 致 性 要 求 更 高 , 当 不 同 个 体 之 间 存 在 较 大 个 体 差异 时 可 能 难以 

对 结果 做 出 解释 )， 二 阶 同 构 则 侧重 考虑 不 同 刺激 类 别 对 应 的 神经 响应 水 平 之 间 的 差异 ， 并 
这 种 刺激 属性 和 神经 响应 水 平 之 间 的 关系 在 抽 提 后 是 稳定 存在 于 个 体内 部 的 。 具 体 而 言 ， 
不 同 被 试看 到 一 组 动物 刺激 和 植物 刺激 时 所 诱发 出 的 ERPs/ERMFs 的 极 性 、 振 幅 强 度 、 潜 
伏 期 等 情况 可 能 会 非常 不 同 , 但 是 每 名 被 试 内 部 均 可 以 表现 出 在 不 同 刺激 类 别 之 间 的 神经 响 
应 水 平 有 较 大 差异 ， 同 时 在 相同 刺激 类 别 内 部 表现 出 相似 的 神经 响应 水 平 (Weaverdyck etal., 
2020). RSA 在 二 阶 同 构 的 基础 上 来 表征 一 组 刺激 条 件 之 间 神 经 响应 水 平 的 相似 程度 ， 它 更 
加 关注 不 同 刺激 条 件 之 间 的 差异 而 非 具体 的 表现 形式 ， 例 如 EEG/MEG 的 振幅 、fMRI 的 
BOLD 响应 信号 、 行 为 成 绩 等 数据 之 间 的 性 质 差 别 非常 大 ( 即 一 阶 同 构 差异 很 大 )， 但 是 它们 


— 


下 
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x| 


都 能 对 不 同 的 刺激 条 件 进行 


分 ， 并 且 经 过 抽 提 后 的 RDM 可 能 是 类 似 的 ( 即 二 阶 同 构 是 相 


似 的 ， 如 图 4A)。 因 此 , RSA 在 具备 了 足够 的 统计 不 变性 的 情况 下 为 不 同 个 体 、 不 同 来 源 和 


形式 的 数据 提供 了 一 个 标准 化 的 公共 表征 空间 (Kriegeskorte & Wei, 2021)。 


RSA 通过 计算 所 有 可 能 的 两 个 刺激 (包括 相同 /不 同类 别 之 间 ) 组 合 之 间 的 可 区 分 性 或 者 


相似 性 ， 来 编码 不 同 神经 表征 之 间 的 相似 性 结构 ， 并 利用 
应 的 神经 响应 水 平 之 间 的 关系 。 在 实际 研究 中 , 不 同 的 来 


RDM 来 描述 一 组 刺激 条 件 与 其 对 


| 激 条 件 在 神经 表征 空间 中 会 存在 着 


与 之 对 应 的 响应 向 量 ，RDM 记录 了 所 有 两 两 成 对 的 响应 向 量 间 距离 ， 这 些 响应 向 量 对 间 的 
距离 共同 定义 了 表征 几何 (representational geometry)， 它 可 以 在 一 定 程度 上 反映 不 同 刺激 条 


件 的 表征 性 质 (Kriegeskorte et al., 2013, 2019; Freund et al., 2021; Kriegeskorte & Wei, 2021). 


生 


= 


如 图 4A 所 示 , RDM 的 基本 类 型 是 由 相同 顺序 的 水 平和 垂直 
其 中 对 角 线 表示 的 是 相同 刺激 条 件 之 间 的 比较 (根据 定义 ， 对 角 线 的 数值 一 般 为 )， 非 对 角 
线 的 数值 表示 的 是 对 应 行 和 列 中 两 个 不 同 刺 激 条 件 对 之 间 的 差异 (该 差异 可 以 解释 为 在 表征 
空间 中 对 应 的 响应 向 量 间 的 距离 )。 原 则 上 根据 不 同 来 源 数据 建立 的 RDM 都 可 以 用 来 预测 
每 个 刺激 对 的 大 脑 活动 模式 相对 相似 性 /差异 ; 


( 


刺 


激进 行 索引 的 方形 对 称 矩 阵 ， 


图 4、 图 7)， 如 行为 结果 (Mur et al., 2013; 


Redcay & Carlson, 2015; Cichy et al., 2017a; Furl et al., 2017; Wang et al., 2018; Dobs et al., 2019), 


计算 模型 (Cichy et al., 2016a, 2017b; Wardle et al., 2016; Kietzmann et al., 2017; Pantazis et al., 


2018; Kong et al., 2020)、 刺 激 属 性 (Carlson et al., 2013; Wardle et al., 2016; Furl et al., 2017; 


Sankaran et al., 2018)、 不 同类 型 的 神经 成 像 数 据 (Cichy et al., 2014, 2016b; Cichy & Pantazis, 


2017)、 不 同 物种 (Kriegeskorte etal., 2008b; Mur et al., 2013; Cichy et al., 2014; Sandhaeger et al., 


2019) 等 ， 使 得 将 各 个 刺激 条 件 之 间 的 差异 量化 后 直接 比较 不 同 数据 模 态 之 间 的 差异 成 为 可 


能 (Kriegeskorte et al., 2008a; Kriegeskorte, 2011; Kriegeskorte & Kievit, 2013)。 由 于 RDM AY 


是 一 个 复杂 、 高 维 的 结构 ， 为 了 在 低 维 空间 清晰 地 展现 


H RDM 包含 的 表征 性 质 ， 通常 可 以 


采用 多 维 尺度 变换 (multidimensional scaling, MDS; Torgerson, 1958; Kriegeskorte et al., 2008b; 


Carlson et al., 2013; Kietzmann et al., 2017; Pantazis et al., 2018; Sankaran et al., 2018)、t- 分 布 随 


HLABEKHK A (t-distributed stochastic neighbor embedding, t-SNE; Van der Maaten & Hinton, 2008; 


Grootswagers et al., 2019) LAK JR YR R X (hierarchical clustering; Johnson, 1967; Mur et al., 2013; 


Cichy et al., 2014) RX} RDM 进行 可 视 化 。 
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图 7 (A)RDM 的 来 源 广泛 ， 它 可 以 在 一 个 公共 的 表征 空间 内 桥接 不 同类 型 的 数据 ， 如 ， 跨 类 别 的 数据 (左上 ): 根据 数据 来 源 的 


不 同 ， 可 以 从 脑 活动 记录 、 行 为 测量 、 计 算 建 模 甚至 人 工 神经 网 络 (artificial neural networks, ANN) 中 获得 的 数据 来 构建 对 应 的 神 


经 RDM, 行为 RDM、 模 型 RDM; 跨 模 态 的 数据 (右上 ): 根据 神经 活动 记录 方式 (如 fMRI、fNIRS、EEG 和 MEG 等) 的 不 同 ， 可 


以 构建 不 同 特点 的 神经 RDM; 跨 群体 的 数据 (左下 ): 构建 RDM 的 数据 可 以 从 正常 人 群 (年 轻 人 、 婴 幼儿 、 老 年 人 )、 疾病 人群 ( 孤 


独 症 、 阿 尔 兹 海 默 症 等 ) 甚 至 非 人 类 物种 (小 白鼠 、 猴 子 等 ) 这 些 不 同类 别 的 群体 中 获取 ; 跨 脑 区 的 数据 ( 右 下 ): 还 可 以 根据 研究 者 


所 关注 的 问题 来 构建 不 同 脑 区 所 对 应 的 神经 RDM。(B) 将 逐 时 间 点 构建 的 EEG/MEG n-RDMs 与 其 它 来 源 的 RDM 进行 比较 ， 可 


以 根据 RDM 的 来 源 在 时 程 上 从 不 同 的 角度 对 刺激 条 件 之 间 的 神经 表征 相似 性 进行 探讨 。 例如, 将 不 同 刺 激 条 件 下 根据 人 类 EEG 
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活动 构建 的 逐 时 间 点 n-RDMs 分 别 与 根据 行为 表现 和 猴子 特定 脑 区 BOLD 响应 信号 构建 的 b-RDM、fMRIn-RDM 进行 比较 ， 能 


够 得 到 (C) 所 示 的 相似 度 曲线 ， 可 以 直观 地 展现 神经 活动 与 行为 表现 之 间 的 一 致 性 ， 以 及 不 同 物种 之 间 对 于 相同 刺激 信息 编码 的 
一 致 性 。 
42 ”具体 算法 及 实现 


4.2.1 构建 RDM 


在 基于 RSA 的 EEG/MEG 研究 中 , 最 重要 的 一 步 是 构建 神经 RDM( 简 称 n-RDM)。 根据 
采集 到 的 ERPs/ERMFs 数据 ,计算 不 同 刺激 (同时 包含 了 相同 与 不 相同 类 别 的 刺激 ) 的 神经 响 
应 信号 间 的 相似 性 ， 我 们 可 以 得 到 一 个 n-RDM， 它 能 够 表征 所 有 刺激 诱发 的 大 脑 活动 模式 
差异 ,考虑 到 EEG/MEG 包含 了 多 个 通道 和 时 间 点 的 数据 , 以 计算 单个 被 试 的 n-RDM 为 例 ， 
构建 mnRDM 时 可 以 采取 以 下 做 法 ,这 两 种 方法 都 可 以 得 到 各 个 时 间 点 (或 时 间 窗 ) 的 n-RDM， 
并 能 够 用 来 观察 分 析 神 经 表征 随时 间 的 动态 变化 : 

1、 逐 时 间 的 n-RDM。 依 次 在 每 个 时 间 点 上 ， 将 同一 刺激 条 件 下 的 试 次 进行 平均 ， 利 用 
通道 信息 来 计算 两 个 刺激 条 件 间 的 相似 性 ; 或 者 利用 成 对 刺激 条 件 之 间 的 解码 正确 率 作 为 该 
刺激 组 合 的 相似 性 。 该 做 法 最 后 会 得 到 与 时 间 点 数量 相同 的 n-RDMs。 

2、 逐 通道 -时 间 的 n-RDM。 依次 在 每 个 通道 上 , 将 同一 刺激 条 件 下 的 试 次 进行 平均 ,再 
通过 设置 时 间 窗 的 方式 ， 使 得 特定 时 间 点 的 数据 包含 了 对 应 时 间 窗 内 的 全 部 时 间 点 信息 (如 
100ms 时 的 数据 为 以 该 时 间 点 为 中 心 、 前 后 各 20ms 的 全 部 时 间 点 信息 构成 的 时 间 窗 ), 再 逐 
时 间 点 计算 两 个 刺激 条 件 间 的 相似 性 ; 或 者 依次 在 每 个 通道 、 每 个 时 间 点 上 ，, 利用 成 对 刺激 
条 件 之 间 的 解码 正确 率 作为 该 刺激 组 合 的 相似 性 。 该 做 法 最 后 会 得 到 通道 数 * 时 间 点 数 个 n- 


og 


RDMs。 


行为 数据 也 是 常用 于 构建 RDM 的 来 源 之 一 。 类 似 地 ， 我 们 也 可 以 根据 被 试 的 行为 测量 
结果 (正确 率 、 反 应 时 等 ) 直 接 做 两 个 刺激 之 间 的 算术 差 值 ( 即 欧 几 里 得 距离 ) 来 得 到 每 个 刺激 
对 组 合 间 的 相似 性 ， 并 得 到 用 来 度量 行为 任务 中 不 同行 为 表现 间 差 异 的 行为 RDM( 简 称 b- 


RDM). 


— 


构建 n-RDM 与 b-RDM 时 相似 性 度量 方法 有 以 下 两 种 : 1. PEACE n-RDM 5 b- 
RDM 时 均 可 以 采用 , 例如 根据 相关 距离 对 多 维度 的 行为 学 数据 构建 差异 矩阵 , 对 EEG/MEG 
数据 则 可 以 使 用 通道 或 时 间 点 信息 作为 相关 样本 来 衡量 不 同 条 件 间 的 差异 ; 也 可 以 根据 欧 几 
里 得 距离 分 别 对 一 维 的 行为 学 数据 n 维 的 EEG/MEG 数据 间 测 量 值 的 差异 进行 衡量 ; Redcay 


& Carlson, 2015; Furl et al., 2017; Kietzmann et al., 2017; Teichmann et al., 2018; Greene & Hansen, 


2018; Wang et al., 2018; Giari et al., 2020); 2、 解 码 正确 率 法 (适用 于 构建 n-RDM; Carlson et 
18 


al., 2013; Cichy et al., 2014, 2016a, 2016b, 2017b; Redcay & Carlson, 2015; Cichy & Pantazis, 


2017; Guggenmos et al., 2018; Sankaran et al., 2018; Dobs et al., 2019; Grootswagers et al., 2019; 


Kong et al., 2020; Xie etal., 2020)。 无 论 是 计算 n-RDM 还 是 b-RDM， 上 述 过 程 可 以 在 所 有 被 


试 上 重复 进行 ， 并 得 到 


需要 注意 的 是 ， 在 选择 相似 性 /差异 性 度量 方式 时 ， 要 根据 原始 数据 的 特点 找到 一 个 最 合适 


个 组 平均 水 平 的 RDM (Kriegeskorte et al., 2008a; Nili et al., 2014). 


的 度量 方式 ; 同时 建议 在 构建 RDM 前 对 和 矩阵 内 部 的 所 有 数值 均 被 进行 归 一 化 处 理 ， 以 降低 


数据 中 的 噪声 带 来 的 影响 (Walther et al., 2016; Guggenmos et al., 2018; Popal et al., 2019). 


除了 n-RDM 与 b-RDM 外 ， 根 据 研 究 的 需求 有 时 还 要 建立 包括 计算 模型 和 概念 模型 在 
内 的 模型 RDM( 简 称 m-RDM)， 它 是 研究 者 根据 图 像 属性 、 计 算 建 模 或 者 概念 属性 创建 的 理 


论 RDM, 用 于 探索 不 同 神经 表征 对 应 的 时 程 、 脑 区 、 加 工 模式 等 信息 。m-RDM 可 以 来 自 计 
算 模型 ,包括 简单 计算 模型 和 复杂 计算 模型 。 其 中 , 简单 计算 模型 主要 由 实验 刺激 图 片 的 各 
种 物理 属性 构成 ， 例 如 图 像 的 低 通 (low-pass) 和 高 通 (high-pass) 滤 波 、 色 度 (colour)、 亮 度 
(luminance)、 客 体 的 轮廓 (silhouette)、Lab 色彩 空间 中 的 数字 图 像 以 及 
图 等 ， 用 于 量化 低 水 平视 觉 差 异 对 神经 异 质 性 的 贡献 。 而 复杂 计算 模型 中 RDM 的 值 是 通过 
， 主 要 用 于 更 有 理论 动机 的 计算 ， 来 模拟 某 些 大 脑 信息 加 工 过 程 ， 


如 视觉 加 工 的 V1-HMAX 模型 、 视 网 膜 包 络 模型 (retinal envelope model) 等 (Kriegeskorte etal., 


一 些 算法 或 者 函数 得 到 的 


2008a; Wardle et al., 2016). 


模型 也 可 以 是 概念 性 的 ， 概 念 模型 主要 强调 了 不 同 刺 激 之 间 基 于 


图 像 的 Lab 联合 直方 


某 一 特定 属性 的 差异 ， 例 如 动物 、 植 物 、 人 造物 品 等 类 别 属性 ， 或 者 有 生命 、 无 生命 等 语义 
属性 ( 见 图 4A 根据 动 植物 类 别 属性 构建 的 概念 模型 RDM)。 概 念 模型 假设 在 给 定 的 脑 区 和 


时 程 内 只 能 表征 特定 的 信 


息 (例如 区 分 动 植物 的 神经 活动 )， 且 可 以 从 无 关 信息 中 抽取 出 来 ， 


同时 不 必 说 明 该 表征 是 如 何 计算 得 到 的 ， 所 以 可 以 基于 刺激 之 间 的 假定 关系 来 创建 RDM. 


列 如 对 面孔 进行 感知 的 过 程 中 ， 大 脑 可 能 会 对 性 别 、 年 龄 、 熟 悉 性 、 身 份 、 种 族 等 不 同 的 信 
息 进行 表征 , 此 时 对 于 面孔 的 表征 是 非特 定 于 某 一 属性 的 , 但 是 我 们 依旧 可 以 使 用 基于 假设 


创建 出 的 m-RDM 与 实际 的 n-RDM 或 者 b-RDM 进行 比较 ， 将 特定 的 表征 信息 给 抽 提 出 来 


(Kriegeskorte et al., 2008a; Popal et al., 2019)。 因 此 ， 假 设 构 建 的 模型 能 够 真实 反映 出 大 脑 是 
如 何 表 征 不 同 刺 激 信息 的 , 那么 模型 生成 的 刺激 间 差 异性 就 可 以 与 实际 刺激 诱发 出 的 不 同 大 


脑 活动 模式 相 匹 配 。 


4.2.2 比较 RDM 


根据 研究 问题 构建 完 所 需 的 RDM 后 , 下 一 步 则 是 在 每 名 被 试 内 部 对 上 述 不 同 来 源 的 mn- 


RDM、b-RDM、m-RDM 进行 定量 比较 ， 常 用 的 比较 方法 主要 为 相关 
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E 离 ， 如 Spearman 相 


X, Pearson 相关 或 Kendall’s tau 相关 (Kriegeskorte et al., 2008a; Carlson et al., 2013; Cichy et 
al., 2014, 2016a, 2016b, 2017a, 2017b; Nili et al., 2014; Cichy & Pantazis, 2017; Kietzmann et al., 
2017; Guggenmos et al., 2018; Sankaran et al., 2018; Teichmann et al., 2018; Dobs et al., 2019; 
Kong et al., 2020; Xie et al., 2020)。 一 般 情 况 下 ， 除 非 有 非常 充分 的 理由 ， 否 则 假设 不 同 的 
RDM 之 间 存 在 着 线性 匹配 关系 往往 是 不 够 合理 的 ， 因 为 RDM 中 存在 的 噪声 受到 其 来 源 影 
响 ， 所 以 在 实际 研究 中 更 建议 研究 者 使 用 等 级 相关 距离 (例如 Spearman 等 级 相关 系数 和 


Kendall 等 级 相关 系数 ) 的 方式 来 量化 不 同 RDM 之 间 的 一 致 性 (Kriegeskorte etal., 2008a, 2013; 


Nili et al., 2014; Popal etal., 2019)。 还 需 注意 的 是 ， 在 比较 不 同 的 RDM IY, FA FERREIRA 
对 角 线 对 称 的 ,为 了 防止 错误 地 增加 RDM 之 间 的 相关 性 , 一般 要 排除 矩阵 对 角 线 上 的 数值 ， 
并 且 只 选取 对 角 线 上 (或 下 ) 半 部 分 三 角形 内 的 值 进行 分 析 (Ritchie et al., 2017; Lu & Ku, 2020; 


Weaverdyck et al., 2020). 
对 于 高 时 间 分 辨 率 的 EEG/MEG 数据 , 可 以 根据 每 个 时 间 点 包含 的 信息 或 者 用 于 区 分 两 
种 刺激 类 型 之 间 差 异 的 解码 正确 率 来 构建 逐 时 间 点 的 n-RDMs, 并 与 其 它 来 源 的 RDMs 进行 
比较 ， 进 而 探究 不 同 来 源 的 RDMs 之 间 的 相似 性 是 如 何 随 着 时 间 推 移 而 变化 的 (图 4B、 图 
7B、 图 70), 帮助 人 们 在 时 间 维 度 上 更 好 地 理解 表征 信息 的 编码 加 工 情况 (Carlson et al., 2019). 
比如 , 将 不 同 的 概念 m-RDMs 与 逐 时 间 点 构建 的 EEG/MEG n-RDMs 进行 比较 , 可 以 探索 大 
脑 对 于 不 同 刺激 之 间 菜 一 特定 属性 差异 的 表征 时 程 (例如 ， 动 植物 分 类 的 神经 机 制 从 何 时 开 
始 ; Sankaran et al., 2018; Dobs etal., 2019); 将 b-RDMs 与 逐 时 间 点 构建 的 EEG/MEG n-RDMs 
进行 比较 ， 可 以 探索 特定 刺激 条 件 下 行为 表现 与 神经 活动 的 一 致 性 (例如 ， 哪 个 时 间 段 的 


ERPs/ERMFs 活动 可 以 解释 行为 上 的 动 植物 识别 能 力 ; Redcay & Carlson, 2015; Cichy et al., 


2017a; Dobs et al., 2019); 将 基于 不 同感 兴趣 区 (region of interest, 简称 ROD 的 BOLD 响应 信 


号 构建 的 fMRI-n-RDMs 与 逐 时 间 点 构建 的 EEG/MEG n-RDMs 进行 比较 ， 可 以 揭示 某 一 持 
续 神 经 活动 的 皮层 来 源 (例如 ， 与 动 植物 识别 有 关 的 ERPs/ERMFs 活动 来 自 哪个 大 脑 皮 
域 ; Cichy et al., 2014, 2016a, 2016b; Cichy & Pantazis, 2017). 
4.2.3 统计 推断 和 模型 评估 

检验 两 个 RDM 之 间 的 相关 性 主要 采用 随机 化 的 方法 : 将 RDM 矩阵 的 刺激 条 件 标 签 随 
机 化 ， 根 据 随机 化 的 结果 对 两 个 矩阵 中 的 一 个 进行 重新 排序 ， 得 到 一 个 新 的 RDM， 并 将 其 
与 未 进行 随机 排序 的 RDM 进行 比较 ,计算 新 的 差异 性 度量 ,大 量 重复 该 过 程 (例如 5000 次 )， 
将 生成 一 个 置换 分 布 ， 用 于 模拟 两 个 RDM 不 相关 的 零 假设 ; 把 实际 相关 性 与 生成 的 置换 分 
布 进行 比较 ， 找 到 其 在 该 分 布 中 的 位 置 ， 万 值 ， 从 而 比较 两 个 RDM 之 间 是 否 显著 相 


区 


Ni 


K(Kriegeskorte et al., 2008a, 2013; Nili et al., 2014; Walther et al., 2016; Popal et al., 2019). 


进行 群体 水 平 的 统计 分 析 则 是 使 / 


群体 水 平 的 相似 度 和 相似 度 为 0 的 水 平 之 间 的 差异 
进行 显著 性 检验 ， 如 果 涉 及 到 逐 时 间 点 的 相似 度 检验 ， 同 样 需要 对 检验 结果 进行 校正 (具体 


的 检验 方法 及 校正 方法 可 参照 3.2.4 节 )。 除 了 在 统计 水 平 上 检验 RSA 的 结果 是 否 显著 ， 还 


需要 根据 数据 的 噪声 水 平 计算 每 个 时 


间 点 上 相应 的 噪声 上 限 (noise ceiling, 具体 计算 方法 请 


参考 Nilietal., 2014)， 并 将 其 定义 为 真实 模型 可 能 获得 的 最 高 相关 性 ， 以 评估 模型 的 好 坏 以 


及 实验 的 局 限 性 (Wardle et al., 2016; Grootswagers et al., 2017; Kietzmann et al., 2017; Pantazis 


et al., 2018; Sankaran et al., 2018; Teichmann et al., 2018; Greene & Hansen, 2018; Dobs et al., 


2019; Kong et al., 2020). 


43 基于 RSA 的 衍生 方法 
时 间 泛 化 方法 中 跨 时 域 解 码 的 思路 同样 可 以 推广 到 基于 EEG/MEG 数据 的 RSA 方法 中 


以 进行 跨 时 域 比较 ， 


1. NER RSA. FAA 


LAS BOE A U FP: 


根据 4.2.1 小 节 的 计算 方式 直接 使 用 EEG/MEG 数据 计算 不 同 条 


件 在 任意 两 个 时 间 点 如 和 皇上 的 神经 表征 相似 性 ， 进 行 逐 点 比较 后 得 到 跨 时 域 RSA 泛 化 矩 


阵 ; 或 者 使 用 EEG/MEG 数据 构建 逐 时 间 点 的 n-RDM 后 ， 将 任意 两 个 时 间 点 如 和 对 应 的 


n-RDM 直接 比较 得 到 跨 时 域 RSA 泛 化 矩阵 (Lu & Ku, 2020; Lu, 2020)。 该 做 法 类 似 于 跨 时 域 


解码 ， 可 以 对 不 同 条 件 之 间 的 模式 差异 进行 比较 。 


2、 动 态 RSA。 假 设 一 


有 Name 个 时 间 点 ， 根 据 4.2.1 小 节 的 计算 方式 对 任意 两 个 时 间 


Aa ti All y A) EEG/MEG 数据 进行 计算 并 得 到 跨 时 域 RDMti， 通 过 对 不 同 的 时 间 点 成 对 计算 ， 
最 终 将 得 到 Nime X Nime 个 跨 时 域 RDMs， 再 逐个 与 其 它 来 源 的 RDMs 进行 比较 ， 会 得 到 跨 


时 域 动态 比较 后 的 RSA 泛 化 矩阵 ， 进 而 说 明 不 同 来 源 RDMs 之 间 的 相似 性 在 时 域 上 的 泛 化 


5 应 用 场景 


与 特点 有 更 深入 的 到 


场景 进行 简单 的 介绍 。 


Efi 


FEW UPA? AYE 


i 


情况 (Cichy et al., 2014; Lu, 2020). 


究 中 ， 利 用 解码 分 析 和 RSA 方法 ， 能 够 使 人 们 对 神经 表征 的 模式 


本 章节 将 结合 已 有 的 EEG/MEG 研究 ， 对 解码 分 析 和 RSA 的 应 用 


5.1 解析 不 同 的 认 知 加 工 过 程 


得 益 于 解码 分 析 的 高 敏感 性 ， 


究 者 能 够 对 感知 觉 (Wardle et al., 2016; Ronconi et al., 


2017; Collins et al., 2018)、 注 意 (Kaiser al., 2016b; Fahrenfort al., 2017a; Alilović et al., 2019). 
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i X (Correia et al., 2015; Heikel et al., 2018)、 记 忆 (Bae & Luck, 2018, 2019a; Linde-Domingo et 


al. 2019) 等 内 容 进 行 解析 ， 探 究 不 同 刺 激 条 件 和 认 知 状态 下 的 神经 表征 差异 。 例 如 ， 在 Bae 


和 Luck(2018) 一 项 关于 空间 注意 和 


作 记 忆 的 研究 中 ， 成 功 地 从 ERPs 响应 和 alpha 振荡 活 


动 中 解码 出 了 低级 视 皮 层 对 16 个 刺激 朝向 与 16 个 刺激 位 置 组 合 的 加 工 ， 获 得 了 传统 分 析 
方法 难以 得 到 的 精细 结果 。 这 也 反应 了 解码 分 析 的 部 分 场景 : 由 于 个 体 差 异 的 存在 ， 如 皮层 
袜 皱 的 差异 会 导致 不 同 被 试 对 于 同一 刺激 表现 的 头皮 ERPs 活动 模式 不 一 样 , 但 是 不 同 刺激 
诱发 产生 的 ERPs 活动 模式 在 个 体内 稳定 ， 因 此 与 早期 视 皮 层 相关 的 活动 成 分 可 以 用 解码 分 
析 进 行 区 分 。 解 码 分 析 可 以 帮助 我 们 对 不 同 的 大 脑 活动 模式 进行 提取 和 学 习 , 并 对 结果 进行 
预测 ， 从 而 对 不 同 认 知 状态 下 的 神经 表征 进行 解析 。 


此 外 ， 由 于 RSA 的 特点 之 一 便 是 能 够 对 不 同时 程 、 不 同 模 态 之 间 的 数据 进行 计算 和 比 
较 , 借助 RSA 我 们 可 以 对 大 脑 的 认 知 活动 有 更 为 深刻 的 认识 。 


例如 , 在 一 项 面孔 的 MEG f 


究 中 ，Dobs 等 人 (2019) 将 逐 时 间 点 构建 的 n-RDMs 与 根据 不 同 概念 (性 别 、 年 龄 、 身 份 、 熟 
悉 度 ) 提 出 来 的 m-RDMs 进行 比较 , 探索 了 不 同时 程 的 n-RDMs 与 不 同 的 m-RDMs 之 间 的 相 
似 性 , 为 不 同 面孔 信息 的 加 工 顺序 提供 了 新 的 证 据 (Dobs et al., 2019). 在 一 项 视 知觉 研究 中 ， 


Greene 和 Hansen(2018) 提 取 了 经 过 预先 训练 的 深度 卷 积 神经 网 络 (deep convolutional neural 


network, 简称 DCNN) 中 ， 不 同 层次 的 网 络 对 于 每 张 刺激 


图 片 的 激活 情况 ， 并 创建 了 与 每 层 


网 络 相 对 应 的 RDM; 同时 在 每 个 时 间 点 上 根据 人 类 被 试 特定 通道 的 EEG 数据 创建 了 n-RDM。 
研究 者 通过 比较 DONN 每 层 网 络 的 RDM 与 人 类 被 试 的 n-RDM， 发 现在 相同 的 视觉 场景 分 


类 任务 中 , DCNN 的 各 个 层次 的 网 络 与 人 类 视觉 系统 处 理 各 个 层级 之 间 存 在 着 对 应 关系 , 如 


浅 层 的 DCNN 最 能 预测 0-200ms 的 早期 ERPs 活动 ， 而 深层 
相对 晚期 的 ERPs 活动 ,这 也 为 深入 理解 计算 机 模型 与 人 类 视觉 系统 之 间 的 关联 提供 了 一 个 
新 的 角度 (Greene & Hansen, 2018)。 作 为 一 种 原理 简单 、 学 习 成 本 低 的 分 析 方 法 ，RSA 也 为 
我 们 更 深入 地 理解 大 脑 认 知 加 工 过 程 提供 了 助力 。 
5.2 提供 神经 活动 的 时 间 动 态 特征 


EEG/MEG 的 优势 之 一 是 可 以 对 神经 活动 进行 实时 测量 ， 


究 信息 加 工 的 动态 表征 过 程 。 


觉 与 视觉 想象 的 共享 神经 机 制 进 行 了 探索 。 研 究 者 使 ) 


的 DCNN 最 能 预测 225ms 左右 


因此 结合 时 间 泛 化 方法 能 够 探 


Dijkstra(2018) 和 Xie(2020) 等 研究 者 利用 时 间 泛 化 方法 对 视 知 


j 知 觉 任务 下 的 信号 进行 训练 来 测试 想 


象 任务 下 的 信号 ,以 及 使 用 想象 任务 下 的 信息 训练 来 测试 知觉 任务 下 的 信号 , 发 现在 特定 时 


间 、 频 率 上 ， 知 觉 和 想象 之 间 确 实 存在 着 共享 神经 


2020). Blom 等 人 (2020) 利 ) 


征 的 情况 (Dijkstra et al., 2018; Xie et al., 


时 间 泛 化 方法 对 视觉 的 预期 机 
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判 进行 了 研究 ， 实验 人 员 发 现 预 


期 机 制 能 够 在 外 界 视觉 信息 实际 到 达 之 前 ， 预 先 激活 通常 由 感官 输入 信息 驱动 的 神经 表征 ， 
表明 大 脑 可 以 对 外 界 信息 在 接收 过 程 中 造成 的 神经 传递 延迟 进行 补偿 , 使 得 刺激 特异 性 神经 
表征 和 现实 事件 在 时 间 上 尽 可 能 保持 同步 。 该 研究 通过 巧妙 的 实验 设计 和 时 间 泛 化 方法 , 有 
力 地 阅 明 了 特定 的 神经 表征 是 怎样 随 着 时 间 的 推移 而 发 生 改变 的 ,凭借 EEG/MEG 高 时 间 分 
辩 率 的 特点 , 能 够 为 研究 提供 神经 活动 的 时 序 特征 , 进而 为 大 脑 在 对 信息 编码 加 工 过 程 中 的 
变化 情况 给 出 一 定 的 参照 依据 (Blom et al., 2020). 

基于 时 间 泛 化 方法 跨 时 域 解码 的 思路 ，RSA 在 此 基础 上 也 可 以 采用 跨 时 域 比较 的 方法 
来 探究 神经 表征 加 工 的 动态 过 程 。Cichy 等 人 (2014) 在 一 项 探索 人 脑 对 视觉 客体 加 工 的 时 空 
表征 研究 中 ， 在 相同 的 刺激 条 件 下 采集 了 MEG 信号 和 fMRI 信号 ， 首 先 根据 MEG 信号 计 
算 了 不 同 刺激 对 的 时 间 泛 化 矩阵 , 利用 时 间 泛 化 矩阵 上 每 对 时 间 点 组 合 的 解码 正确 率 构 建 了 


MEG n-RDMSs， 再 分 别 基 于 初级 视 皮 层 (VD 和 下 显 叶 皮层 (interotemporal cortex, 简称 ID) 的 


=) 体 素 激活 值 构建 了 不 同 ROI 的 fMRIn-RDMs, 并 将 不 同时 刻 的 MEG n-RDMs 与 不 同 脑 区 的 


fMRI n-RDMs 进行 比较 ， 发 现在 ~100 ms 和 ~200-1000 ms 的 MEG n-RDMs 与 fMRI 的 V1 
n-RDM 显著 相关 , 在 ~250 ms 至 ~500ms 的 MEG n-RDMs 与 fMRI 的 IT n-RDM 显著 相关 ， 
这 提示 视觉 系统 的 不 同 区 域 在 视觉 信息 加 工 的 不 同 阶 段 提 供 了 瞬时 或 者 持久 的 神经 活动 .而 
© 究 者 利用 RSA KGET TA ER MEG 信号 与 高 空间 分 辩 率 的 fMRI 信号 结合 起 来 , 揭示 了 
R 不 同 测量 方法 下 共同 的 神经 表征 , 对 特定 神经 活动 的 持续 时 间 和 皮层 来 源 进行 了 识别 ,在 时 
间 和 空间 上 为 人 类 视觉 客体 加 工 过程 提 供 了 一 个 完整 的 分 辩 视 图 (Cichy etal., 2014)。 将 解码 
c 分 析 及 其 衍生 方法 和 RSA 引入 对 时 间 进 程 更 加 关注 的 EEG/MEG 研究 之 中 ,前 景 十 分 广阔 。 
5.3 定位 神经 表征 的 空间 起 源 


追踪 神经 表征 的 时 空 特征 一 直 是 认 知 神经 科学 研究 中 的 热点 。 经 典 的 EEG/MEG 研究 


> N rey 


中 ， 常 用 的 空间 定位 方法 有 利用 算法 进行 源 重 建 (Michel et al., 2004; Sato et al., 2004) 或 者 结 
合 高 空间 分 辩 率 的 fMRI 进行 联合 记录 (Huster et al., 2012; Scrivener, 2021)， 这 些 方法 在 实际 


研究 中 都 取得 了 不 错 的 成 效 。 随 着 解码 分 析 的 不 断 普及 , 一 些 用 于 追踪 解码 信息 来 源 的 方法 
(如 逐 通道 的 解码 分 析 / 探 照 灯 分 析 、 权 重 投 影 ) 也 逐渐 兴起 , 使 研究 者 在 EEG/MEG 研究 中 定 
位 认 知 活动 的 空间 起 源 有 了 更 多 的 选择 。 利 用 逐 通道 的 探照灯 分 析 技 术 ，Giari 等 人 (2020) 利 
用 MEG 对 文字 和 图 片 的 神经 表征 空间 特性 进行 了 研究 ， 发 现 当 表达 的 概念 信息 相似 时 ， 文 
字 和 图 片 的 表征 涉及 到 了 不 同 的 脑 区 。 在 Fahrenfort 等 人 (2017b) 一 项 关于 知觉 整合 的 研究 
中 ,实验 人 员 对 分 类 器 的 特征 权重 进行 变换 并 将 重 构 得 到 的 激活 模式 映射 到 地 形 图 上 , 发 现 


视 皮 层 的 知觉 整合 效应 在 枕 区 附近 最 强烈 。 许 多 研究 也 表明 ，EEG/MEG 信号 中 都 包含 了 能 
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够 解码 认 知 状态 的 空间 信息 , 因此 解码 分 析 是 可 以 利用 不 同 水 平 上 的 空间 编码 信息 来 定位 神 
经 活动 的 空间 起 源 (Cichy et al., 2016a, 2016b, 2017b; Cichy & Pantazis, 2017)， 并 且 使 用 解码 
分 析 技术 得 到 的 权重 值 和 正确 率 具 有 统计 学 意义 , 它 也 为 EEG/MEG 信和 号 的 空间 起 源 定位 提 
供 了 一 些 新 的 视角 。 

由 于 RSA 可 以 将 EEG/MEG 数据 与 其 它 来 源 的 数据 进行 联结 ,因此 RSA 也 为 EEG/MEG 
研究 提供 了 追踪 神经 表征 空间 特征 的 方法 。Cichy 等 人 (2014) 使 用 RSA 对 视觉 客体 识别 过 程 
中 人 类 大 脑 皮 层 的 时 空 动力 学 进行 了 研究 , 研究 人 员 假 设 对 于 不 同时 间 、 空 间 分 辨 率 的 MEG 
和 fMRI 数据 来 说 ， 相 同 的 刺激 应 具有 同样 的 神经 起 源 ， 因 此 会 具有 相似 的 神经 表征 。 基 于 
上 述 假设 ,研究 者 构造 了 基于 每 个 时 间 点 的 MEG n-RDMs 和 基于 不 同 ROI 的 fMRI n-RDMs, 
并 将 其 分 别 比较 ， 以 寻找 客体 识别 过 程 中 MEG 信号 的 皮层 来 源 ， 在 毫秒 级 和 毫米 级 水 平 上 


揭示 了 人 脑 视觉 客体 识别 过 程 中 的 神经 动力 学 (Cichy et al., 2014, 2016b; Cichy & Pantazis, 


2017)。 
6 小结 与 展望 

相 比 于 传统 的 EEG/MEG 分 析 方 法 ， 解 码 分 析 和 RSA 能 够 帮助 研究 者 根据 个 体 独 有 的 
大 脑 活 动 模式 来 理解 信息 编码 加 工 的 时 程 , 在 保留 个 体 差异 的 同时 对 不 同 个 体 共 有 的 一 致 性 
规律 进行 抽 提 , 这 种 特点 可 以 应 用 于 很 多 涉及 复杂 场景 的 实验 研究 中 , 为 复杂 刺激 环境 中 的 
认 知 加 工 机 制 研究 提供 了 一 个 新 颖 有 意义 的 途径 。 重 要 的 是 ， 解 码 分 析 和 RSA 的 出 现 并 不 
是 为 了 替代 传统 的 EEG/MEG 分 析 方法 ,而 是 对 已 有 的 方法 进行 补充 ， 从 多 角度 对 不 同心 智 
活动 下 的 神经 表征 差异 进行 探讨 。 

尽管 解码 分 析 和 RSA 两 种 分 析 技 术 在 fMRI 研究 中 已 经 相当 的 成 熟 ， 甚 至 解码 分 析 都 
已 经 在 脑 机 接口 (brain computer interface, BCT) 领 域 中 得 到 了 广泛 的 应 用 ,但 是 直到 最 近 几 年 
才 在 EEG/MEG 领域 用 于 研究 认 知 加 工 活动 。 值 得 一 提 的 是 ， 从 现 有 的 成 果 来 看 ， 虽 然 起 步 
时 间 相 对 较 晚 ， 但 在 利用 EEG/MEG 开展 的 各 类 认 知 神经 科学 研究 中 解码 分 析 和 RSA 都 有 
着 不 俗 的 表现 ， 并 且 随 着 研究 者 们 的 不 断 推动 以 及 两 种 技术 在 EEG/MEG 研究 中 日 益 普及 
目前 也 有 许多 非常 成 熟 的 开源 工具 箱 供 研究 者 们 使 用 :在 MATLAB 环境 下 , 有 CoSMoMVPA 


(Oosterhof et al., 2016), the Decision Decoding Toolbox (Bode et al., 2018). the Amsterdam 
Decoding & Modeling Toolbox (Fahrenfort et al., 2018) 和 MVPA-Light (Treder, 2020); 在 


Python 环境 下 ， 有 the PYMVPA toolbox (Hanke et al., 2009), MNE-Python (Gramfort et al., 


2014), NeuroRA (Lu & Ku, 2020) 和 PyCTRSA (Lu, 2020) 等 ;其 中 CoSMoMVPA 和 NeuroRA 
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~ 


j 者 可 以 根据 自己 的 需求 和 编程 习惯 灵 ; 


具有 丰富 的 模块 同时 支持 对 EEG/MEG 与 fMRI 开展 基于 分 类 的 解码 和 RSA 分 析 。 这 些 工 
具 箱 功能 强大 ， 能 够 在 不 同 的 开发 环境 下 实现 EEG/MEG 的 各 种 解码 分 析 和 RSA 方法 ， 使 
mE. 


不 可 否认 ， 作 为 EEG/MEG 领域 的 新 兴 方 法 ， 解 码 分 析 和 RSA 在 实际 使 用 的 过 程 中 也 
存在 一 定 的 局 限 性 ， 例 如 ， 解 码 分 析 和 RSA 很 大 程度 上 是 数据 驱动 的 计算 建 模 方 法 ， 缺 乏 


关 方法 的 RSA 在 不 同 的 模型 上 进行 统计 


足够 的 理论 假设 约束 , 要 获得 稳定 可 靠 的 结果 对 数据 质量 的 要 求 非常 高 ; 两 种 方法 的 计算 量 
都 远大 于 传统 的 EEG/MEG 分 析 方 法 ， 要 求 较 高 的 计算 机 硬件 和 更 多 的 运算 时 间 ; RSA 需 
要 足够 的 条 件数 来 获取 信服 的 相关 性 结果 ,因此 并 非 所 有 的 实验 设计 都 适合 该 方法 ; 基于 相 


检验 还 有 一 定 的 限制 , 容易 受到 异常 值 带 来 的 影响 ， 


并 且 相 关 分 析 自 身 的 缺陷 对 于 RSA 的 影响 也 是 无 法 避免 的 (Popal et al., 2019); 解码 分 析 需 
要 大 量 的 试 次 用 于 分 类 器 的 训练 ， 以 学 习 不 同 条 件 之 间 细 微 的 差别 ; 与 传统 的 EEG/MEG 分 
析 方 法 类 似 , 随 着 解码 过 程 中 用 于 统计 的 通道 数 增多 , 也 可 能 会 导致 更 容易 得 到 显著 的 结果 ， 


从 而 难 区 分 显著 的 究竟 是 信号 还 是 噪音 ; 


经 验 和 实验 目的 进行 具体 方法 的 选择 ， 


在 解码 分 析 的 各 个 阶段 ， 对 数据 进行 哪些 处 理 、 选 


择 什么 分 类 器 和 参数 、 怎 样 对 得 到 的 结果 进行 检验 和 校正 , 不 同 的 研究 者 往往 会 根据 自己 的 
时 甚至 通过 反复 筛选 来 得 到 最 优 的 效果 ,即便 文中 
已 经 对 不 同 的 方法 进行 了 介绍 , 但 是 目前 还 无 法 提供 一 套 可 供 不 同 研究 重复 参考 的 标准 ， 基 


此 解码 分 析 不 仅 对 使 用 者 的 先 验 知识 提出 了 较 高 的 要 求 , 还 有 一 定 的 可 能 导致 得 到 的 结果 在 


可 重复 性 和 可 靠 性 上 无 法 令 人 信服 。 


解码 分 析 和 RSA 作为 目前 EEG/MEG 领域 分 析 方法 中 的 后 起 之 秀 ， 为 我 们 理解 大 脑 的 


认 知 加 工 过 程 提供 了 一 些 新 的 方法 与 思路 。 虽 然 在 目前 的 EEG/MEG 研究 中 这 两 种 技术 还 处 
于 起 步 阶 段 ， 但 是 随 着 方法 学 的 不 断 发 展 ， 它 们 仍然 有 着 巨大 的 潜力 与 广阔 的 应 用 场景 。 我 
们 认为 在 今后 的 研究 中 ， 以 下 方向 是 值得 探究 的 : 

第 一 个 方向 是 可 供 不 同 研究 重复 参考 的 分 析 流 程 。 目 前 已 有 的 研究 中 , 研究 者 们 更 多 的 


是 依赖 于 主观 经 验 来 使 用 解码 分 析 和 RSA， 而 不 像 传统 的 EEG/MEG 分 析 ， 按 照 一 套 标 准 


的 操作 规范 来 处 理 数据 。 以 解码 分 析 为 例 ， 数 据 预 处 理 、 归 一 化 、 降 维 、 分 类 器 选择 、 交 叉 
验证 、 性 能 评估 等 都 提供 了 许多 种 行 之 有 效 的 操作 , 对 于 同一 批 实 验 数 据 而 言 有 非常 多 的 处 


理 方法 组 合 。 这 可 能 会 导致 研究 人 员 受 至 


| 主观 经 验 偏好 的 影响 , 在 数据 分 析 过 程 中 选择 了 不 


恰当 的 处 理 方法 ， 使 得 最 终 得 到 的 结果 解释 性 不 强 。 在 未 来 的 研究 中 ， 针 对 不 同 数据 的 特点 


以 及 各 类 方法 最 适宜 的 使 用 场景 , 制定 一 套 完善 、 可 供 重复 参考 的 数据 分 析 流 程 ,这 对 于 解 


码 分 析 和 RSA 的 普及 是 有 好 处 的 。 
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第 二 个 方向 是 不 同 分 析 方 法 之 间 的 结合 ,目前 已 经 有 研究 者 将 解码 分 析 得 到 的 解码 正确 
率 来 代替 进行 RSA 时 使 用 到 的 度量 指标 , 以 在 不 同 的 时 间 点 上 构建 基于 解码 正确 率 的 RDM. 
考虑 到 在 EEG/MEG 研究 中 ， 解 码 分 析 还 存在 着 许多 衍生 方法 ， 怎 样 把 这 些 方法 与 RSA 有 
机 结合 起 来 ， 实 现 跨 时 域 、 跨 任务 /状态 对 不 同时 间 、 条 件 下 的 神经 表征 模式 相似 程度 进行 
比较 ， 这 些 都 是 在 未 来 的 研究 中 值得 去 进一步 思考 的 。 此 外 ,本 文 涉及 的 解码 分 析 所 使 用 的 
模型 是 一 种 后 向 解码 模型 (backward decoding model, BDM)， 它 与 RSA 并 不 关注 EEG/MEG 
信号 是 如 何 从 大 脑 中 生成 的 ， 更 多 地 是 为 了 区 分 不 同 条 件 下 脑 活 动 之 间 的 神经 表征 差异 (用 
解码 正确 率 和 不 相似 度 来 衡量 )。 近 年 来 在 EEG/MEG 领域 还 发 展 了 一 些 诸如 群 感受 野 


(population receptive field, pRF; Dumoulin & Wandell, 2008; Wandell & Winawer, 2015)、 时 间 响 


应 函数 (temporal response function, TRF; Crosse et al., 2016)、 反 问 编 码 模 型 (inverted encoding 


model, IEM; Sprague et al., 2015) 等 新 方法 ， 它 们 基于 强 理 论 假设 ， 通 过 不 同 的 建 模 方法 从 数 
据 生 成 的 角度 来 对 神经 元 的 响应 特性 进行 模拟 ， 以 此 来 解释 不 同 信 号 之 间 的 异同 (不 同 的 模 
型 对 应 不 同 信 号 的 来 源 ， 用 模型 的 异同 来 解释 信号 来 源 的 异同 )。 不 同类 型 的 方法 有 着 各 自 
的 长 处 与 短 板 , 如 何 将 这 些 方法 有 机 的 结合 起 来 以 实现 更 好 的 分 析 效 果 , 也 是 值得 探索 的 方 
向 。 
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Exploring the neural representation patterns in event-related EEG/MEG 
signals: the methods based on classification decoding and representation 


similarity analysis 
CHEN Xinwen, LI Hongjie, DING Yulong 
(Key Laboratory of Brain, Cognition and Education Sciences (South China Normal University), Ministry of 
Education; School of Psychology, South China Normal University; Center for Studies of Psychological 
Application, South China Normal University; Guangdong Key Laboratory of Mental Health and Cognitive 
Science, Guangzhou 510631, China) 
Abstract: Exploring the differences of neural representations under various mental activities is one 
of the core issues in cognitive neuroscience. The early analysis methods of EEG/MEG mainly 
focused on the level of the neural responses after group averaging, which requires that each subject 
have high consistency in the amplitude and direction of ERPs/ERMFs, and the distribution and 
polarity of the topographic map under the same stimulant conditions. In recent years, researchers 
have introduced two techniques commonly used in fMRI studies, classification algorithms in 
machine learning (i.e., classification-based decoding) and representation similarity analysis, into the 
EEG/MEG data analysis. These two new techniques can overcome the shortcomings of traditional 
EEG/MEG data based on average analysis of voltage/magnetic flux density waveforms, which could 
be used to reveal the coding of neural representation at individual level and provide a new idea to 
explore how the brain encodes specific neural representations dynamically in different time courses. 
These two techniques are able to reveal specific neural representation patterns and even identify 
"brain fingerprints" at individual levels. Based on different methodological theories, these two 
techniques provide novel ways for EEG/MEG studies to compare representational differences of 
cognitive processes across time windows, tasks, modalities, and groups. Firstly, we systematically 
introduced the principles and operational processes of classification-based decoding and 
representation similarity analysis, together with a comparison with those traditional analysis 
methods of EEG/MEG. Then, the EEG/MEG studies to date using these two techniques are 
reviewed. Finally, some possible future research directions with regard to these two techniques are 


proposed. 
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